Büyük Veri

Paylaş:

Bu bölümdeki sorular Veri Analizi, Veri Mühendisliği, Makine Öğrenimi alanlarında çalışan ya da Veri Analisti / Veri Mühendisi / Veri Bilimcisi iş rolünde görev üstlenen geliştiricilere gösterildi. Bu ankette özel olarak geliştiriciler hedeflendiği için sonuçlar daha geniş büyük veri grubunu temsil etmeyebilir.

Bu toplu işleme araçlarından hangilerini kullanıyorsunuz?

31%

Spark

16%

Hadoop MapReduce

13%

Hive

7%

Dask

3%

Pig

1%

Tez

3%

Diğer

56%

Hiçbiri

Bu akışlı işleme araçlarından hangilerini kullanıyorsunuz?

20%

Spark Streaming

8%

Flink

6%

Storm

5%

Dask

4%

Beam

3%

Apache NiFi

2%

Samza

3%

Diğer

65%

Hiçbiri

Veri ardışık düzeni oluşturmayla ilgilenen profesyoneller, veri gölleri oluşturmak için geleneksel ilişkisel veritabanları kullanıyor. Spark, toplu olarak ve akışlı işleme için en popüler araç olmaya devam ediyor.

Bu akış düzenleme araçlarından hangilerini kullanıyorsunuz?

22%

Airflow

10%

Özel veya kendi kendine

6%

Apache NiFi

6%

Apache Oozie

3%

Prefect

2%

Luigi

2%

Dagster

5%

Diğer

59%

Hiçbiri

Tahmin edilebileceği gibi, Apache Airflow özellikle veri mühendisleri arasında en popüler akış düzenleme aracı. İlginç bir şekilde, akış düzenleme araçlarının %10'u özel veya kişisel olarak geliştirilmiş.

Spark çalıştırmak için bu araçlardan hangilerini kullanıyorsunuz?

37%

Kubernetes

30%

YARN

27%

Amazon EMR

11%

Google DataProc

9%

Azure HDInsight

5%

Mesos

5%

Nomad

5%

DataBricks

3%

AWS Glue

2%

Diğer

13%

Hiçbiri

Spark çalıştırmak için en popüler bulut çözümleri Kubernetes, YARN ve Amazon EMR'dir.

Veri gölleri oluşturmak için bu araçlardan hangilerini kullanıyorsunuz?

24%

Geleneksel ilişkisel DB

15%

Delta Lake

6%

MPP

4%

Iceberg

3%

Hudi

7%

Diğer

54%

Hiçbiri

Bu MPP araçlarından hangilerini kullanıyorsunuz?

15%

BigQuery

13%

Redshift

11%

Azure SQL Data Warehouse

9%

Azure Data Explorer

5%

ClickHouse

3%

Greenplum

3%

Spanner

4%

Diğer

61%

Hiçbiri

Katılımcıların büyük çoğunluğu MPP araçları kullanmıyor. BigQuery, Redshift ve Azure SQL Data Warehouse en popüler araçlar.

Mesaj broker'leri veya mesaj sıraları (ör. Kafka, RabbitMQ) ile çalışıyor musunuz?

Mesajlaşma ve teslimat için bu araçlardan hangilerini kullanıyorsunuz?

49%

RabbitMQ

42%

Kafka

20%

Amazon SQS

9%

ActiveMQ

7%

RocketMQ

5%

Azure Event Hub

4%

Amazon Kinesis

Büyük Veri:

2022

Zaman ayırdığınız için teşekkür ederiz!

Raporumuzu faydalı bulduğunuzu umuyoruz. Bu raporu arkadaşlarınızla ve meslektaşlarınızla paylaşın.

Herhangi bir soru ya da öneriniz varsa lütfen bizimle surveys@jetbrains.com adresinden iletişime geçin.