データサイエンス
共有:
このセクションの質問は、ビジネスインテリジェンス、データ解析、データエンジニアリング、機械学習に関与する開発者、またはデータアナリスト / データエンジニア / データサイエンティスト / ビジネスアナリストを役職とする方に示されました。
大多数の回答者は、データサイエンスの職務と他の活動を組み合わせています。これらの結果は、この領域が民主化されており、市場に伸びしろがあることを示しています。
JetBrains は、Datalore をチーム向けの共同データサイエンスプラットフォームとして作成しました。Datalore はデータプロフェッショナルに優れたコーディングエクスペリエンスを提供する一方で、データ探索と可視化ワークフローにノーコードの自動化を導入します。そのため、非技術系のユーザーでも中核のデータチームと同じツールを使用して、必要な場面でレポートの作成とデータ可視化を行えます。
データサイエンティスト、データエンジニア、および機械学習エンジニアなどの専門データスペシャリスト職は比較的新しい役職です。多くの回答者は隣接分野で勤務またはトレーニングを受けた後にこれらの役職に転向したため、独学やオンラインコースを通じてスキルアップを図る必要はありませんでした。従来は STEM で博士号を取得するのがデータサイエンスまたは機械学習分野への最も一般的な進路でしたが、過去 7 年間のトレンドではこれらの分野に携わった学士号取得者の数が、2015 年の 20% から 2021 年の 31% に増加しているのがわかります。データスキルを専門とする新しい学部課程の卒業者数が増加していることから、この結果は正式な教育を通じてスキルを習得した人の増加へとシフトしていく可能性があります。
データサイエンスとデータ解析の作業では Jupyter ノートブックが最も人気のエディターで、回答者の約 40% がこれらの活動にノートブックを使用しているとしています。この結果はデータ収集と可視化、探索的データ解析、または機械学習モデリングを行っていると示した回答者ではさらに高くなっており、70% が Jupyter ノートブックを使用していると答えています。
このトピックに関する詳細は、JetBrains の最近の研究をご覧ください。2019 年から 2020 年にかけて、Python 3 ノートブックの数は 87% 増加し、Python 2 ノートブックは 12% 増加しています。
Jupyter ノートブックは引き続き最も一般的なツールの 1 つであり、回答者の 42% を占めています。また、データ作業を主な活動として述べている人では 50% 以上となっています。主な使用目的は、データの探索とモデルプロトタイプの作成といった探索的作業です。ただし、主にデータスペシャリストとして従事している人の間でも、ノートブックでの作業に 40% 以上の作業時間を費やしている人は少数となっています。
ノートブックをバージョン管理している人の割合は非常に高く、大半のデータプロフェッショナルがノートブックを保守すべきコードと見なしていることは良い兆候だと言えます。ノートブックをバージョン管理している人の間で最も一般的なツールは、Git と GitHub です。
ローカルファイルのほか、SQL データベースが引き続きデータスペシャリストの間で最も一般的に使用されているデータソースとなっています。
Datalore なら、Jupyter ノートブックを美しいデータアプリに瞬時に変えることができます。キャンバス上でセルを整列し、静的または対話モードで結果を公開できます。関係者はリンクを開いてレポートにアクセスできます。
レポートを見る回帰やツリーベースの手法といった機械学習の基本アルゴリズムが引き続き広く使用されていますが、回答者の大半はトランスフォーマーアーキテクチャを中心とするニューラルネットワークも使用しています。トランスフォーマーネットの使いやすさの向上と人気の高まりからも、回答者の 4 分の 1 以上が NLP の作業も行っていると答えた理由が伺えます。興味深いことに、回答者の 5 分の 1 のみが静的テストを作業の一部に使用していると答えており、機械学習とディープラーニングが古典的な統計学を上回る基本的なデータスキルになったことを示唆しています。
全回答者の間で最も一般的なディープラーニングフレームワークは TensorFlow でしたが、データ作業を主な活動としている回答者の間では、TensorFlow と PyTorch が等しく使用されていました。最も一般的な機械学習ライブラリは Scikit-learn でしたが、ごく少数の回答者は XGBoost や LightGBM といったツリーベースモデリング用のスペシャリストパッケージとフレームワークを使用していました。
最も利用者の多いエンタープライズクラウドソリューションは、Amazon サービスです。
回答者の大半（70%）はチームメンバーが 10 人以下の小規模のグループで作業しています。5 人に 1 人はデータスペシャリストが 15 人以上存在するチームで作業しています。
チームまたは部門の約 50% に専属のデータエンジニア職が用意されています。
50% 強の回答者が、チームに専属のデータエンジニアか機械学習エンジニアがいると答えました。データエンジニアと ML エンジニアはどちらも広義な役職名であり、会社ごとに非常に異なっているため、どちらかの役職に就いている人はモデル開発やデータパイプライン管理といった機械学習に関連する同様の業務を担当している可能性があります。当然のことながら、チームの規模が大きくなるほど、どちらかの役職に就いている人がいる可能性も高くなっています。メンバー数が 1～2 名のデータチームに所属する回答者の 80% 以上が専属のデータエンジニアまたは ML エンジニアがいないと答えたのに対し、15 人以上のデータチームに所属する回答者の 79% が専属のデータエンジニア、65% が専属の ML エンジニアがいると答えています。
ほとんどの回答者が機械学習モデルまたはディープラーニングモデルのトレーニングに GPU を使用していると回答しました。VRAM のニーズは回答者のデータ作業によって異なっています。データ作業を趣味または教育目的で行っている回答者の 40% は ８ GB で十分としているのに対し、主な活動としてデータ作業を行っている回答者の場合はわずか 18% でした。
ほとんどの回答者がモデルのトレーニングに週 20 時間を費やしていると回答しました。この時間には、夜間に行われるトレーニングの時間も含まれている可能性があります。約 3 分の 1 が週 5 時間以下と回答しました。これは、大半の時間をデータの準備と探索に費やしているという過去の結果と一致しており、データサイエンス作業の中でもモデルトレーニングが占める割合は比較的小さいことを示しています。
この結果はノートブックで行われる主な活動がデータ探索と可視化であり、回答者の大半がローカルファイルで作業し、さらにはローカルリソースを使ってデータサイエンス作業を完了しているというアンケートの他の回答と一致しています。驚くことに、この結果は回答者のデータ作業の方法にほとんど左右されていません。データ作業を主な活動とする人は、趣味や教育目的で行う人と同程度にローカルリソースを使用しています。
回答者の大半はモデルトレーニング実験のパフォーマンスを追跡するのにどのツールも使用していないと回答しました。しかし、このようなツールの使用率は、15 人以上のデータチームの場合（チームに属する回答者の 58% が少なくとも 1 つを使用）、チームに専属の機械学習エンジニアがいる場合（62%）、または回答者が機械学習モデリングと ML Ops の作業に従事している場合（63%）に高くなっています。この結果は、この種のツーリングが機械学習モデル開発分野の専門知識がある環境で使用される傾向にあることを示しています。
大半のデータスペシャリストの間では、データの探索と表示に単純ながらも有意義な図表が使用されていました。このようなチャートは、データ収集、探索的データ解析からデータオーケストレーション、ML Ops まで、関与しているデータ活動の種類に関係なく大半の回答者によって使用されていました。
最後までご覧いただきありがとうございました！
レポートはお役に立ちましたか？
ぜひこのレポートを友人や同僚と共有してください。
ご質問やご提案がございましたら、surveys@jetbrains.comまでお問合わせください。