データサイエンス

データサイエンス専門家の大半はデータ探索と表現に実証済みのプロットを使用する価値を見出しています。これらのチャートはデータ収集、探索的データ解析、データオーケストレーション、ML Ops など、多様なデータ関連タスクで広く使用されています。

全チーム全部門の半数近くに専属のデータエンジニアまたは機械学習エンジニアが配属されています。

データサイエンティスト、データエンジニア、機械学習エンジニアといった役職は比較的最近になって雇用市場に現われた専門職です。多くの回答者は関連する分野からこれらの役職に移行しており、独学またはオンラインコースを通じて新しいスキルの習得を求められています。

データサイエンスでは Jupyter ノートブックの多様な実装が広く普及しており、一般的なユースケースには探索的データ解析、データとデータクエリによる実験、モデルのプロトタイピングが挙げられます。およそ 40% のデータサイエンス専門家が Jupyter ノートブックを使用して仕事の結果を発表していますが、興味深いことに、多くの専門家（約 50%）は Jupyter ノートブックを作業時間の 10%～20% しか使用していません。

アンケートに回答したほとんどのデータサイエンティストはカスタム収集のデータを処理しています。最も一般的なデータ型はトランザクションデータ、時系列データ、画像、マシン生成データです。興味深いことに、30% が実際のイベントにいよって生成されたデータではなく、人工的に生成された合成データを使用しています。

全回答者の約 40% が機械学習またはディープラーニングモデルをトレーニングしていますが、この数値はデータ作業を主な活動としている人の間では 60% 以上です。この業界トレンドから、予測モデリングがデータ作業に取り組む際の中核となっていることがわかります。

データサイエンス専門家の半数は、月に 1 回以上は機械学習モデルを再トレーニングまたは更新していますが、ほとんどの方は毎月 20 時間未満しかこのタスクに費やしていません。

データサイエンス専門家の大半（81%）はモデルのトレーニングに GPU を使用しています。グラフィックプロセッサーを有効利用することでトレーニングが高速化され、それに伴ってモデルのパフォーマンスが強化されるため、研究者やデータスペシャリストにとってはますます魅力的なリソースとなっています。これは機械学習の世界において技術的イノベーションが重要であり、関連性があることを強く示しています。

回帰や木ベースの手法といった主な機械学習アルゴリズムが普及している状態が続いていますが、かなりの数のデータサイエンス専門家もニューラルネットワークを採用しています。回答者の 30% が NLP 業務に従事してるのは、トランスフォーマーネットワークの人気の高まりとその使いやすさが理由だと考えられます。興味深いことに、参加者の 24% のみが業務で統計テストを使用していると回答しており、これは機械学習とディープラーニングが基本的なデータスキルとして古典的な統計手法を上回ったことを示しています。

利用者数では TensorFlow が scikit-learn と PyTorch をわずかに引き離し、Keras と XGBoost も安定した採用率を示しています。興味深いことに、かなりの割合の回答者（19%）が特にフレームワークは使用していないと答えています。

TensorBoard は 23% の割合で最もよく使用されているツールとなっており、10% の MLFlow と 7% の WandB がその後に続いています。ただし、データサイエンス専門家の 3 分の 2 はモデルトレーニング実験の追跡に特定のツールを使用していません。

機械学習と AI は日常業務において重要な要素となっているため、回答者のほぼ半数が使用しているソフトウェアに組み込まれているさまざまな AI ベースの機能を使用しているのは驚くことではありません。

データの品質はデータを扱う専門家と組織にとって一般的な課題であり、およそ 50% がデータプレパレーションに 30% 以上の業務時間を費やしています。データクリーニングが最も時間のかかるデータ専門家のワークフローとして浮上していることは Anaconda の調査でも確認されています。回答者のほぼ半数はこのようなタスクの処理に総合開発環境（IDE）を使用しています。