Big Data

Teilen:

Die Fragen in diesem Abschnitt wurden Befragten gestellt, die in den Bereichen Datenanalyse, Data Engineering oder Maschinelles Lernen mitwirken oder als Data Analyst/Data Engineer/Data Scientist tätig sind. Diese Umfrage richtete sich speziell an Entwickler*innen, daher sind die Ergebnisse möglicherweise nicht repräsentativ für die allgemeine Big-Data-Community.

Welche der folgenden Tools für Stapelverarbeitung verwenden Sie?

Welche der folgenden Tools für Streamingverarbeitung verwenden Sie?

Fachleute, die keine Data Pipelines erstellen, verwenden traditionelle relationale Datenbanken für den Aufbau von Data Lakes. Spark ist nach wie vor das meistverwendete Tool für Batching und Streaming.

Welche der folgenden Orchestrierungstools verwenden Sie?

Erwartungsgemäß ist Apache Airflow das populärste Orchestrierungstool – vor allem bei Data Engineers. Interessanterweise sind 10% der Orchestrierungstools unternehmensspezifisch oder selbst entwickelt.

Welche der folgenden Tools verwenden Sie für die Spark-Ausführung?

Kubernetes, YARN und Amazon EMR sind die gängigsten Cloud-Lösungen für die Ausführung von Spark.

Welche der folgenden Tools verwenden Sie zur Erstellung von Data Lakes?

Welche der folgenden MPP-Tools verwenden Sie?

Die überwiegende Mehrheit Befragten verwendet keine MPP-Tools. BigQuery, Redshift und Azure SQL Data Warehouse sind die gängigsten Lösungen in diesem Bereich.

Arbeiten Sie mit Message-Brokern oder Message-Queues (z. B. Kafka, RabbitMQ)?

Welche der folgenden Tools verwenden Sie für Messaging und Auslieferung?

Big Data:

2022

Danke, dass Sie sich die Zeit genommen haben!

Wir hoffen, dass Sie unseren Bericht nützlich fanden. Teilen Sie diesen Bericht im Freundes- und Kollegenkreis.

Wenn Sie Fragen oder Anregungen haben, schreiben Sie uns bitte unter surveys@jetbrains.com.