빅데이터

공유하기:

이 섹션의 질문은 데이터 분석, 데이터 엔지니어링, 머신러닝에 관련된 개발자 또는 직무가 데이터 분석가/데이터 엔지니어/데이터 과학자인 개발자에게만 표시되었습니다. 이 설문조사는 개발자만을 대상으로 실시되었으므로, 설문조사 결과가 광범위한 빅데이터 직무 종사자를 대표하지 못할 수 있습니다.

다음 중 어떤 배치 처리 도구를 사용하시나요?

31%

Spark

16%

Hadoop MapReduce

13%

Hive

7%

Dask

3%

Pig

1%

Tez

3%

기타

56%

없음

다음 중 어떤 스트리밍 처리 도구를 사용하시나요?

20%

Spark Streaming

8%

Flink

6%

Storm

5%

Dask

4%

Beam

3%

Apache NiFi

2%

Samza

3%

기타

65%

없음

데이터 파이프라인 구축에 관여하지 않는 전문가는 데이터 레이크 구축을 위해 기존의 관계형 데이터베이스를 사용합니다. Spark는 여전히 배치 처리 및 스트리밍 처리 작업에 가장 많이 사용되는 도구입니다.

다음 중 어떤 오케스트레이션 도구를 사용하시나요?

22%

Airflow

10%

사용자 지정 또는 자체 제작

6%

Apache NiFi

6%

Apache Oozie

3%

Prefect

2%

Luigi

2%

Dagster

5%

기타

59%

없음

예상대로 Apache Airflow는 특히 데이터 엔지니어에게 가장 인기 있는 오케스트레이션 도구입니다. 흥미롭게도 오케스트레이션 도구의 10%는 사용자 지정 또는 직접 개발한 도구입니다.

다음 중 Spark 실행에 사용하는 도구는 무엇인가요?

37%

Kubernetes

30%

YARN

27%

Amazon EMR

11%

Google DataProc

9%

Azure HDInsight

5%

Mesos

5%

Nomad

5%

DataBricks

3%

AWS Glue

2%

기타

13%

없음

Kubernetes, YARN 및 Amazon EMR은 Spark 실행을 위해 가장 많이 사용되는 클라우드 솔루션입니다.

다음 중 데이터 레이크 구축에 어떤 도구를 사용하시나요?

24%

기존 관계형 DB

15%

Delta Lake

6%

MPP

4%

Iceberg

3%

Hudi

7%

기타

54%

없음

다음 중 어떤 MPP 도구를 사용하시나요?

15%

BigQuery

13%

Redshift

11%

Azure SQL Data Warehouse

9%

Azure Data Explorer

5%

ClickHouse

3%

Greenplum

3%

Spanner

4%

기타

61%

없음

응답자 중 대다수는 MPP 도구를 사용하지 않습니다. BigQuery, Redshift 및 Azure SQL 데이터 웨어하우스는 가장 많이 사용되는 도구입니다.

메시지 브로커 또는 메시지 큐(예: Kafka, RabbitMQ) 관련 업무를 수행하시나요?

다음 중 메시징 및 전달에 사용하는 도구는 무엇인가요?

49%

RabbitMQ

42%

Kafka

20%

Amazon SQS

9%

ActiveMQ

7%

RocketMQ

5%

Azure Event Hub

4%

Amazon Kinesis

빅데이터:

2022

읽어주셔서 감사합니다!

이 보고서가 여러분에게 도움이 되었길 바랍니다. 이 보고서를 친구와 동료에게 공유하세요.

질문이나 제안이 있으면 surveys@jetbrains.com으로 연락해 주세요.