Big Data

Compartir:

Las preguntas de esta sección se mostraron a los desarrolladores que se dedican al análisis de datos, la ingeniería de datos, el aprendizaje automático, o a aquellos cuyo rol de trabajo era analista de datos, ingeniero de datos o científico de datos. Esta encuesta estaba dirigida específicamente a los desarrolladores, por lo que los resultados pueden no ser representativos de la audiencia de big data en general.

¿Cuál de estas herramientas de procesamiento por lotes utiliza?

31%

Spark

16%

Hadoop MapReduce

13%

Hive

7%

Dask

3%

Pig

1%

Tez

3%

Otros

56%

Ninguno

¿Cuál de estas herramientas de procesamiento en streaming utiliza?

20%

Spark Streaming

8%

Flink

6%

Storm

5%

Dask

4%

Beam

3%

Apache NiFi

2%

Samza

3%

Otros

65%

Ninguno

Los profesionales que no participan en la creación de procesos de datos utilizan bases de datos relacionales tradicionales para crear lagos de datos. Spark sigue siendo la herramienta más popular para el procesamiento por lotes y streaming.

¿Cuál de estas herramientas de orquestación utiliza?

22%

Airflow

10%

A medida o de creación propia

6%

Apache NiFi

6%

Apache Oozie

3%

Prefect

2%

Luigi

2%

Dagster

5%

Otros

59%

Ninguno

Como era de esperar, Apache Airflow es la herramienta de orquestación más popular, especialmente entre los ingenieros de datos. Curiosamente, el 10 % de las herramientas de orquestación son personalizadas o de creación propia.

¿Cuál de estas herramientas utiliza para la ejecución de Spark?

37%

Kubernetes

30%

YARN

27%

Amazon EMR

11%

Google DataProc

9%

Azure HDInsight

5%

Mesos

5%

Nomad

5%

DataBricks

3%

AWS Glue

2%

Otros

13%

Ninguno

Kubernetes, YARN y Amazon EMR son las soluciones en la nube más populares para la ejecución de Spark.

¿Cuál de estas herramientas utiliza para crear lagos de datos?

24%

BD relacional tradicional

15%

Delta Lake

6%

MPP

4%

Iceberg

3%

Hudi

7%

Otros

54%

Ninguno

¿Cuál de estas herramientas de MPP utiliza?

15%

BigQuery

13%

Redshift

11%

Azure SQL Data Warehouse

9%

Azure Data Explorer

5%

ClickHouse

3%

Greenplum

3%

Spanner

4%

Otros

61%

Ninguno

La gran mayoría de los encuestados no utiliza herramientas MPP. BigQuery, Redshift y Azure SQL Data Warehouse son los instrumentos más populares.

¿Trabaja con brókers de mensajería o colas de mensajes (p. ej., Kafka, RabbitMQ)?

¿Cuál de estas herramientas utiliza para enviar y recibir mensajes?

49%

RabbitMQ

42%

Kafka

20%

Amazon SQS

9%

ActiveMQ

7%

RocketMQ

5%

Azure Event Hub

4%

Amazon Kinesis

Big Data:

2022

¡Gracias por el tiempo que nos ha dado!

Esperamos que nuestro informe le haya resultado útil. Comparta este informe con sus amigos y compañeros.

Si tiene alguna pregunta o sugerencia, no dude en ponerse en contacto con nosotros a través de surveys@jetbrains.com.