大数据

本部分中的问题向参与数据分析、数据工程、机器学习的开发者，或工作职责为数据分析师/数据工程师/数据科学家的人员显示。本调查专门针对开发者，因此结果可能无法代表更广泛的大数据受众。

您使用以下哪种（哪些）批处理工具？

您使用以下哪种（哪些）流处理工具？

不参与数据管道创建的专业人士使用传统关系数据库构建数据湖。Spark 仍然是最流行的批处理和流处理工具。

您使用以下哪种（哪些）编排工具？

不出所料，Apache Airflow 是最受欢迎的编排工具，特别是在数据工程师中。有趣的是，10% 的编排工具是自定义或自建的。

您使用以下哪种（哪些）工具执行 Spark？

Kubernetes、YARN 和 Amazon EMR 是最流行的 Spark 执行云解决方案。

您使用以下哪种（哪些）工具构建数据湖？

您使用以下哪种（哪些）MPP 工具？

绝大多数受访者不使用 MPP 工具。BigQuery、Redshift 和 Azure SQL Data Warehouse 是最受欢迎的工具。

您是否使用消息代理或消息队列（例如 Kafka、RabbitMQ）？

您使用以下哪种（哪些）工具进行消息传递和递送？

The Big Data Tools Plugin

用于使用您喜爱的数据工程工具的 IDE 插件

感谢您的参与！

我们真诚地希望您能发现我们的报告有用。与您的朋友和同事分享这份报告。

如果您有任何疑问或建议，请发送电子邮件至 surveys@jetbrains.com。

大数据