【IT】データ解析人材、不足解消のカギは自動化に
■ このスレッドは過去ログ倉庫に格納されています
データ分析の専門家「データサイエンティスト」の不足が深刻になっている。国内の求人は1年間で6倍近くになったほか、米国では新卒の学生に3000万円ほどの年収を提示する事例もでているという。データの増加やその活用に人材供給が追いついていないことが原因となっており、人材育成に加えて業務効率を高める必要性が高まっている。 「データやそれを分析するニーズは指数関数的に増える。だがデータサイエンティストの増… 2018/4/12 6:30 https://www.nikkei.com/article/DGXMZO29264310R10C18A4X12000/ 1 女 2 酒・たばこ(嗜好品) 3 金 資本主義めんどくさいな ニートにやらせればいいだろ 自ら一日中パソコンに向かっている奇特な人材だぞ >>4 …ニートじゃなくても使えるデータ屋になれるほうが少ないのに… セオリーだけお勉強しても、実際のデータを前にしてどういう表を作ってどの解析にかけて、ということができるようにならないのさ まぁ、ほとんどの会社がデータ解析はバズってるからやってみようか、のレベルだからなんとかなってるだけさ AIで自動化したって、そのデータ処理のメンテナンスもあるだろうし 楽な割には、高給取りで、なおかつ求人は増え続ける職種だな 将来的には、銀行も公務員も みんなこちらの技能が必要になるわけで データサイエンティストの需要はあり続ける 学生さんなら絶対に目指すべき職種 何歳だろうが、社会人大学や大学院で勉強してチャレンジしたらええねん。 がんばりや。 待ってる世界を考えれば、今なら40でもチャレンジする価値はあるな どんどんAIで自動化されていけば AIに関わる人間は、情報メンテナンスの知識が絶対に必要になるわけで 理屈では、社員全員必要になるよね、この技能 設計できる人は給料まだ上がるけど、見るだけの人、レポートにまとめるだけの人なら下がり始めてきたよ。 >>11 都内はそうなんだろうな、技術を持っていない元請けがすぐに人月商売に組み込んで買い叩く 今は東京より名古屋のほうが需要が強いから、人月で考える都内は下がっても、名古屋は大丈夫でしょう 働ける会社が膨大なデータを持ってる一部の企業に限られる 自動化に至るまでに膨大な人手がいるのを知らない人が書いた記事 >>12 そらね… 発注側は外注エンジニアと同じくくりで考えてるし、中抜き屋は回したいから単価下げても受けてくるし…正社員の解析屋は出世しても役員の席があるわけじゃないから引き上げくれる人がいなくて給料伸びないし 日本の今の状況で上がるわけがないし、設計できるレベルの人はどんどん外資に抜かれるだけさ そこでアクセラレーション・ブースト! みたいなレベルの人が書いてんだろな ガッツだぜ、愛は勝つ、それが大事 そして2018年は 『人生はリベンジマッチ』 ↑ 名曲、ユーチューヴ検索 ★カバー、コピー大歓迎。 女性が歌ってもイイネ データを打ち込むと、人間の理屈ではない「AIの理屈【最適化】」で、各種問題を解決していってしまうわけで そう考えるとデータサイエンティストに求められる能力 →論理力、「数学の力」 →なんだかよくわからないものにとりあえず取り組める「チャレンジ精神」 →何もわからないながら「法則を見つけ出してくるセンス」 要は算数の力だ 人の認識とは違うところからの AIなりの最適化処理なので、AIが出した結果から、ルールを見つけていくしかないんだろ? エンジニアに求められるモノが変わってくるな >>20 そこらの思考に行き着いたらもう少し… AIに合わせなくて良い方法を作るのさ… 機械に使われてドツボにハマるのを見ているのは楽しいけどね… そこまで出来るようになると、人月300超えてくるぜ 背景 ディープラーニング、特に強化学習は 「AIが考える最適化」なので、人の理屈とは異なり理解できない 解決手段1 →人の理屈にあてはめられるAI 機械学習を採用しよう 残念ながら、この解決手段で勝てるはずないので 解決手段2 →理屈はさっぱりわからんが、わからないながらもAIが導き出した「回答から、少しでもいいから法則を見つけて、データを処理していく」 こうなるだろ、まあこの未来に間違いはない データサイエンティストの力は、ここの差になっていく。何かしらの法則を見つけられるような、算数の力なんだろうな データを管理できるエースが一人いれば、状況が変わっていきそうだから データサイエンティストの監督やコーチがいたり、マネージャーがいたりと プロスポーツのトップアスリートのような世界になってくぞ データを打ち込むと 人とは異なるAIの理屈で、「最適化された回答だけ」が出てくる社会になる データサイエンティストとして必要な力はおそらく2つ 1)わからないながらチャレンジする好奇心 2)全くわからない答えの集合体から、 法則を見つけ出してくるセンス どうやったらこの力をつけられるんだろうな >>23 その次の段階もあるよ。 そこらをわかった上で設計できるようになる、ってね… >>23 とうやったら、て疑問の答えは… 汚いデータを触るだよ 触っていて、あのとき習った式だ!と言うのがわかったら一人前 >>22 定量化できないデータは処理できないから 間違える確率の最小に抑えたバージョンでも定量分析の限界に一致するだけ データサイエンティストにアメリカは年俸3000万円払ってるとか、日本人のお前らはあまり夢見るなよ(笑) http://www.deeplearningbook.org/ このボリュームのディープラーニングの書籍を大学院在学中に書いて出版できるレベルの奴らが求められてるのであって、 SQLやPython書けるだけの日本人文化に染まったダメSEなんかお呼びじゃないから(笑) ちなみにGoogleの機械学習フレームワーク、TensorflowはGithubのイイねが数万を超えている つまり、数万人の技術者は既にTensorflow使って機械学習に触れている状態 Tensorflowって何?ってレベルの奴は、 数万人の列の最後尾に並んでることを自覚しろよな(笑) データサイエンティスト以外にも、市場を見ながら最初のデータ設定をできる人材もいるな ニュースばかり見てると思うが こっちのデータの設定のほうはエンジニアのプロより、むしろ素人のほうがうまくなりそう 市場を見ながら、必要なデータを設定できる人材 どうやって育てるんだろ? Ian Goodfellowが日本人だったら、初任給25万円程度の企業に入社して先輩の意味不明なローカルルール押し付けられながら45歳になってやっと主任研究員任せてもらえるとかだったのかな そう考えるとホントにゾッとするわ ビッグデータから有用なデータを掘り起こす仕事だよ フェイスブックの個人情報流出で問題になったケンブリッジ・アナリティカがやってるようなこと データ解析と言っても、その分野、業界、領域、何でも良いんだが、 そういうのをたっぷり知ってからでないと、有意義な解析結果にはならんからな。 コンサルで飯食っている奴が、どうして大人数にインタビューしまくるのか、考えないと。 IT土方みたいにならなきゃいいけどな 皆が目指したら受給バランス崩れて価値がなくなりそう >>33 崩れかけてるよ… 金払わないでやらせようとするからね…断わりゃ良いのに…、 >>33 むしろ自動車の運転のように、全員取り扱えるようにならないと成り立たないんじゃね? >>29 ジャップ上司「フムフム最近はAIとか言うのが流行っているのか。」(ニッケイ新聞バサー ジャップ上司「イアン君。キミうちに派遣に来てからもう2年になるね。」 ジャップ上司「そろそろ社会に通用するプログラムってやつがわかってきたんじゃないか?」 イアン「はぁ」 ジャップ上司「ちょっとキミの評価をあげたいんだけど成果物がない。って訳でね。AIに詳しいキミにこのエクセルに簡単なAIを作って欲しいんだ」 ジャップ上司「あっ。最近流行りのパイソンってやつで頼むよ。エクセルで簡単なプログラムを作ってくれるAIとかでいいから。来週までまでに家でやってきてね」 イアン「」 今の時代、こういうネタが瞬時に嘘とわかる時代なんだよな そもそも求められる経歴が概ねこんな感じだし、新卒は日本で考える大学卒業の学士新卒ではないだろ Preferred Qualifications PhD or MS in the following discipline: Computer Science, Economics, Engineering, Data Science, Physics, Statistics. At least 3 years of experience working on data science projects with a track record including successful stakeholder management and project management deliveries Programming languages : Python, R, SAS, etc. (complete fluency in at least one in decreasing order of preference). Exposure to AWS, Spark a plus Exposure to advanced software engineering environments (version control, command line…) a plus Exposure to Agile way of working a plus Domain knowledge of comparable products (digital, retail) a plus https://www.indeed.com/m/jobs?q=Data+Scientist 不足ってか、最新技術求めて転職繰り返してたら ベンチャーか外資しか拾ってくれなくなるんだよ 入力のセンサーはどうすんだろうね。 AIも含めて。 俺も機械学習を数学含めて理解して学習モデルづくりをやっているが、 正社員としてではなく今の会社の副業としてなら手伝ってやってもいい 日本人が経営してる企業なんて転職で入ってしまおうものなら、 機械学習を全く理解できない上司をあてがわれ、購買申請も内容が理解できないから予算を下ろせず、 結局何もできなくなるのは目に見えている だが副業としてなら、ダメな会社だったらお互いのために契約打ち切って本業の会社に戻るということができ、企業も気軽にデータサイエンティストをお試し雇用できる こういう仕組みでいいんじゃないかな >>38 まさにそんな感じ(笑) 年齢で外資がngが出始めて困ったなぁ…と思ってたところで今のところに決まったよ… >>37 日本でこれにマッチする30代だと、「年600万も出します!!」って言われるよ も、だからね… 自称データサイエンティストです。 データベースの中に溜まったいるデータをクエリーで積算や集計しています。 ある程度エクセルでも扱える量に加工します。多くても30万件くらいまで。 それをエクセルに入れてPivotなどで分析します。 分析結果が経営陣に評価されると今度はそれをマイクロソフトのPowerBIなどにアップして自動的にレポートが更新されるようにしています。 >>43 日本だと、43が多分ベスト。 おかしな要求もされないし、仕事もある。 そこからスキル積むと日本に居にくくなるから、気をつけて >>43 なんでエクセルでやってんの? DBから直接アウトプットさせちゃ駄目なの? 非効率だな… そこを自動化するのがエンジニアの仕事だろ人要らないよ。 しかもそのデータからの予測と今後の方針のプレゼンはプロデューサーの仕事だし その指針の設計図作るのはプロダクトマネージャー。 人介さない仕組み作った方が早い。 何かエクセルで計算させて1日仕事するふりしてるやつが居たけど、周りのスピードに追いつけなくて半年後に辞めたな… 今そんな感じでは?PDCAサイクルも個別裁量決裁も可能になってるしそれくらいしないとグローバルで負けるだろ いろいろやってみたけど、ベテラン営業が鉛筆なめなめで出したのとあまり変わらないということだとなぁ。 >>46 もう負けてるから、大丈夫。 そんなふうにはならない。 どうなるかって?資格の企画の商売を国家主導でやるのさ 経営者の勘で物事を決める日本企業にとって、データサイエンティストなど無用の長物 >>48 そもそも国が介入すんなよ。 何も分かってないんだから… 出来る会社はそういう仕組みになってるしそれでグローバルで戦えてる。 動きが遅い企業は近いうち無くなるだろうし淘汰される。それよりは有能な新卒の育成とその育成プログラムが重要。 円安維持して既存輸出産業に利益上乗せするより 円高高報酬で優秀な技術者囲い込んで新産業を日本から 発信してもらう方が良いのではないかと思うんだがどうなんだろう >>51 育成した技術者の囲い込みは可能たけど、高報酬ていうのは不可能。 外資は普通に2000万出せる会社だよ。 日本人としての魂で勝つしかない。 それが日本の限界。報酬では無理かな? >>5 >>6 >>32 統計学とプログラミングの知識、そして分析の対象とする業界についての知見も必要だから、かなりハードルが高いんだよな… >>50 統計士って国家資格作ろうとしてるぜ… 機械学習系の話が出てきて範囲が広がったから伸び伸びになってるけど… できる会社はそれで良いのさ… 単体じゃなくても、六本木のコンサルから仕事がおりてくるところや、豊洲のSIerから降りてくるところとかも、問題なかろうよ… 参入障壁を外向きじゃなくて内向きに使って価格をコントロールしようとしているのが見えるんだよね… >>53 さいきんは、それに加えてインフラ周りの話が…プログラミングの中に入るのかもしれないけどね >>53 統計だと人工知能に判定させればいいだけだから自動化できる 医者とかもそう 人工知能に難しいのは相関関係 カネで解決する問題じゃない できたら世界中の紛争が無くなってるからな >>55 資格の話じゃないだろって事。 その企業で有用な解析や抽出は変わるし、社内エンジニアが日々メンテナンスすれば良い話。 しかもデータは過去の結果だからその先の指針を作るにはデータだけでは駄目。 CtoCが成功してるからメルカリのパターンでラクマやろうでは勝てないのは明白。 過去のデータの先の未来を創造するのが企業内スタートアップ戦略だろ。 ソニーですらそうなってるのにそんな遅れた企業なんか存在するのか? データ分析ビジネスの端っこくらいにいるけど、とにかく日本企業は不確かなものに金を出さないよね。 まずは効果があるかどうか検証してみようって話なのに、それにかかる数百万くらいのコストでも「投資対効果はあるのか」みたいな話になって なかなかプロジェクトが始まらない。 >>58 ソニーはR&Dのセクション作るくらい力入れてんじゃないか… 他の大多数はやりもしてないよ… 売上POSデータとかウェブアクセスログとか膨大なデータ持ってるとこの話? ほとんどはそもそもデータ持ってないんじゃないの? >>61 もうそんな企業はベンチャーに潰されるべき古株なんだろうな データサイエンティストなんていっても、日本じゃSEと同じじゃね? w データサイエンティスト笑 最低でも修士号持ってるの? データーサイエンティストって企業じゃ冷遇されてたからな。 いわゆる統計解析の人材はスグには作れぬよ。 法則見つけるとか夢見てないでマシーンの出した答えに諾々と従ってれば間違いない。 またそう言う分野でなければAI使う意味ない。 >>69 レミングスの群れが崖に向かって行進していくのが見れるわけだ(笑) >>68 最低2年+気づくまでの数年、かな… 一人前になるまでの年数… >>66 経営者が同じと思ってるから、使えないのさ >>1 種蒔かず水もやらず芽が出そうなときに土を掘り返し踏み固める そんなところには生えないってw そもそも、自動化なんて当たり前の話で、その取得するデータが日々変わるし、 新たな視点での解析情報の追加もあるから、その辺のメンテナンスの人材が必須ってことだと思うが 自動化が必要って昭和の記事かよ、これ >>73 夢見るくらいなら良いんじゃね?実害ないし… そいつらの面倒見てね、二ヶ月で派遣に出すから、と言われるとね… >>75 定期的なデータ取得なんて自動化の最たるモンだし、それが機械学習に使われるかどうかで データ自体に違いがあるわけでなし、解析情報の追加だって、XMLとかの定義ファイルを 編集するやり方を教えれば、事務員でもできるだろ。 あとは、ジョブを定義Dして、Jenkins とかで廻せばいいだけだ。 年俸3000万円で必要とされるのは、Tensorflowとかを使える程度のスクリプト書きではなく、 Tensorflowみたいなライブラリをフルスクラッチで書ける本物のプログラマだよ。 本物のプログラマは、Pythonを使わない。 >>43 俺の今の業務が完全にこれだわ 統計の勉強したりパワポの勉強したりA4企画書の作法勉強したり やることは無駄にあるけど 無駄な仕事だなあという感じ。 既に自動化された業務フローがあれば、その裏で回ってるデータベースを複製して分析するだけでかなりのことがわかる、あとは料理人の腕だけ しかし日本の中小企業で使われてるシステムのほとんどは、紙伝票をデジタル化して入力規則をつけた程度のもの 事務方の省力化のために御用聞きが作ったシステムは大概こうなってて、その裏で回ってるデータベースは帳票に表示する値をただ持ってるだけだったりする こういうのは分析の役にたたない >>79 日本の場合は基幹業務が各部門にいるエクセル大先生が作ったマクロVBシステムで動いているから データが役に立たない事が多くて分析しにくい。 >>80 データサイエンティスト様って、例えば指定フォルダ下に置かれた複数のExcelファイルから データを一括抽出して、CSVファイルやJSONファイルにしたり、ODBCドライバ経由でDBへ 接続して、直接OracleとかMySQLのDBへデータ放り込むといったプログラムすら書けないの? それくらいのこと、Excel VBAでもできるんだけど?(w >>81 プログラマじゃないからね…できる人は単価高いよ…とマジレス 煽りに乗るなら… 分散すらろくに見れないやつがデータをしゃべるなよ… かなぁ…良い返しが思いつかないなぁ… >>82 上流工程専門の自称プロですね。 わかりますよ。(w 結局、他人が作ったフレームワークないと何もできないんでしょ? >>81 エクセル方眼紙で作られているし グラフはセルを手塗りで作ってあるし 作る人によって書式もセル結合も全部違うし、そんなに簡単に一括抽出できると思ってるの? 日本のエクセル基幹業務システムをなめるなよ? >>83 ちょっと聞いていいい?線形回帰モデルで最もよく使われる正則化について 説明してみて? >>83 自称プロはあってるな(笑) でも、他人の作ったフレームワークは動きにくくてたまらんよ… フレームもスクラッチでしょ! >>45 うちの会社だと経営陣が求めているレポートをドンピシャで作るのが難しいから、 アウトプットをまずエクセルで試作します。 それを経営陣が気に入ればクエリをPowerBIに入れるとその後は完全に自動化。 エンジニアがレポートを作るより、エクセルでサンプル作って見せた方が早いしデータさえそろっていれば短時間で修正できるので、僕はそうしています。 今まで就職難だった理学部数学科卒を研修で再教育すれば データサイエンティストにできるんだろ データ解析何やるのか分かってないけど、多変量解析とかロジスティクス回帰分析とか面白くてのめり込むタイプは向いているのかな そっか ということはSPSSとかRとかの世界かな 言語は長らく使ったことないけど勉強してみようかな 転職でデータサイエンティスト目指す場合の要件はどんなもん? 統計学の経験、TOEIC700、プログラミングの実務経験でいけるのなら、ブートキャンプ参加してみようと思う >>94 あと、sqlがさわれたら、すぐに雇われるとおもうよ >>93 別に統計ソフトは何でも良いよ。どういうデータでどの手法使って、何を導き出したかを聞かれる感じ >>95 ありがと sqlはコマンド打つよりオラクルのplsqlとかプロシージャ組んだ経験とか ブランクあり40代で雇ってもらえるようならトライしてみる >>97 少なくとも、うちの会社は行けると思う。まじで >>83 疑問なんだけど 他人が作ったフレームワーク使ったら何が悪いの? 無駄に自作して価値も生み出さずに「給料が低い」って嘆いてるプログラマーよりよほど優秀だと思うけど 日本の経営者、ほとんどの文系学士はデータ解析自体にアレルギー反応起こしているのでは 数学さらに統計学は単位取りにくいし避けてきた人ばかりだろう やばい、python面白いわw 共分散分析がこんなに簡単に出来るんだ ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる