ビッグデータ

このセクションの質問は、データ解析、データエンジニアリング、機械学習に関与する開発者、またはデータアナリスト/データエンジニア/データサイエンティストを役職とする方に示されました。このアンケートは具体的に開発者を対象としているため、結果は、より幅広いビッグデータオーディエンスを代表するものではない可能性があります。

これらのうち、どのバッチ処理ツールを使用していますか？

これらのうち、どのストリーミング処理ツールを使用していますか？

データパイプラインの作成に携わっていないプロ開発者は、従来のリレーショナルデータベースを使ってデータレイクを構築しています。バッチ処理とストリーミング処理で最も一般的なツールは、引き続き Spark となっています。

これらのうち、どのオーケストレーションツールを使用していますか？

当然予想していたように、Apache Airflow がデータエンジニアを中心に最も一般的なオーケストレーションツールです。興味深いことに、オーケストレーションツールの 10% がカスタムまたは自作のツールです。

これらのうち、どのツールを Spark の実行に使用していますか？

Spark を実行するのに最も一般的なクラウドソリューションは、Kubernetes、YARN、および Amazon EMR です。

これらのうち、どのツールをデータレイクの構築に使用していますか？

これらのうち、どの MPP ツールを使用していますか？

回答者の大半は MPP ツールを使用していません。最も一般的なツールは、BigQuery、Redshift、および Azure SQL DATA Warehouse です。

メッセージブローカーまたはメッセージキュー（Kafka、RabbitMQ など）を使用していますか？

これらのうち、どのツールをメッセージングと配信に使用していますか？

The Big Data Tools Plugin

お気に入りのデータエンジニアリングツールを使用するための IDE プラグイン

前へ

Swift と Objective-C

次へ

データベース

ビッグデータ:

2022

最後までご覧いただきありがとうございました！

レポートはお役に立ちましたか？
ぜひこのレポートを友人や同僚と共有してください。

ご質問やご提案がございましたら、surveys@jetbrains.comまでお問合わせください。