Big Data
Partager :
Les questions de cette section ont été posées aux développeurs ayant déclaré être impliqués dans l'analyse de données, l'ingénierie des données, le machine learning ou aux personnes occupant un poste d'analyste de données, d'ingénieur de données ou de data scientist.
Partager :
Comme on pouvait s'y attendre, Apache Airflow est l'outil d'orchestration le plus populaire, en particulier parmi les ingénieurs de données. Il est intéressant de noter que 9 % des outils d'orchestration utilisés sont personnalisés ou « faits maison ».
37%
45%
Kubernetes
30%
22%
YARN
27%
24%
Amazon EMR
11%
11%
Google Dataproc
9%
9%
Azure HDInsight
Kubernetes, YARN et Amazon EMR sont les solutions cloud les plus populaires pour l'exécution de Spark. Kubernetes gagne en popularité d'année en année, tandis que l'utilisation de YARN a diminué de 8 points de pourcentage d'une année sur l'autre. Les entreprises préfèrent généralement inclure des outils d'ingénierie de données dans d'autres parties du paysage informatique plutôt que d'utiliser des systèmes distincts comme YARN.
15%
13%
BigQuery
13%
11%
Redshift
11%
8%
Azure SQL Data Warehouse
9%
10%
Azure Data Explorer
5%
4%
ClickHouse
La majorité des répondants déclare ne pas utiliser d'outils de traitement massivement parallèle (MPP), mais ceux qui le font ont tendance à utiliser BigQuery, Redshift ou Azure SQL Data Warehouse.
Je travaille sans cluster dédié
Je crée de nouveaux clusters pour mes tâches de développement
Je fais tout mon travail sur un seul cluster qui ne s'arrête jamais
Autre
Une large majorité des répondants (64 %) a déclaré n'utiliser aucun moteur pour leurs tâches d'ingénierie de données. Les trois moteurs les plus populaires sont BigQuery, Databricks et AWS Athena, chacun 10 % chacun. Amazon EMR, Redshift, AWS Glue et Azure Analysis Services suivent de près.
Kafka se démarque en tant que solution de messagerie et diffusion de données la plus populaire (58 %), suivie par RabbitMQ avec 46 %. Il est intéressant de noter que seulement 2 % des personnes interrogées ont déclaré n'utiliser aucun outil de ce type.
Je n'utilise aucun framework
Great Expectations
Deequ
Autre
La plupart des personnes interrogées n'exécutent pas de tests dans leur base de code d'ingénierie. Parmi les 31 % qui le font, la majorité n'utilise aucun framework ou utilise Great Expectations.
Merci du temps que vous nous avez accordé !
Nous espérons que vous avez trouvé ce rapport intéressant. N'hésitez pas à le partager avec vos amis et collègues.
Si vous avez des questions ou des suggestions, contactez-nous à surveys@jetbrains.com.