Büyük Veri
Paylaş:
Bu bölümdeki sorular Veri Analizi, Veri Mühendisliği, Makine Öğrenimi alanlarında çalışan ya da Veri Analisti / Veri Mühendisi / Veri Bilimcisi iş rolünde görev üstlenen geliştiricilere gösterildi.
Paylaş:
Tahmin edilebileceği gibi, Apache Airflow özellikle veri mühendisleri arasında en popüler düzenleme aracı. Kullanılan düzenleme araçlarının %9'unun özel veya kendi ürettikleri araç olması ise şaşırtıcı.
37%
45%
Kubernetes
30%
22%
YARN
27%
24%
Amazon EMR
11%
11%
Google Dataproc
9%
9%
Azure HDInsight
Kubernetes, YARN ve Amazon EMR, Spark yürütme için en popüler bulut çözümleridir. Kubernetes her geçen yıl daha popüler hâle gelirken, YARN kullanımı yıllar içinde yüzde %8 puan azaldı. Şirketler, YARN gibi ayrı sistemler kullanmak yerine, veri mühendisliği araçlarını BT ortamının diğer bölümlerine dâhil etmeyi tercih etme eğiliminde.
15%
13%
BigQuery
13%
11%
Redshift
11%
8%
Azure SQL Data Warehouse
9%
10%
Azure Data Explorer
5%
4%
ClickHouse
Katılımcıların çoğunluğu MPP araçlarını kullanmıyor ancak kullananlar BigQuery, Redshift veya Azure SQL Data Warehouse kullanmayı tercih ediyor.
Özel bir küme olmadan çalışıyorum
Geliştirme görevlerim için yeni kümeler oluşturuyorum
İşimi tamamını hiç durmayan bir kümede yapıyorum
Diğer
Önemli bir çoğunluk (%64) veri mühendisliği görevleri için herhangi bir motor kullanmadığını bildirdi. Motor kullanıcıları arasında BigQuery, Databricks ve AWS Athena her biri %10 paya sahip olmak üzere eşit derecede popülerdir. Amazon EMR, Redshift, AWS Glue ve Azure Analysis Services de bu motorları yakından takip ediyor.
Kafka, veri mühendisliğiyle ilişkili mesajlaşma ve dağıtım konusunda en popüler tercih (%58) olarak öne çıkarken, RabbitMQ %46 ile onu takip ediyor. Katılımcıların yalnızca %2'sinin herhangi bir mesajlaşma veya dağıtım aracı kullanmaması ise şaşırtıcı.
Çerçeve kullanmıyorum
Great Expectations
Deequ
Diğer
Katılımcıların büyük bir kısmı mühendislik kod tabanlarında test yürütmüyor. Test yürütenlerin %31'i arasında, en büyük oran ya herhangi bir çerçeve kullanmıyor ya da Great Expectations'tan yararlanıyor.
Zaman ayırdığınız için teşekkür ederiz!
Raporumuzu faydalı bulduğunuzu umuyoruz. Bu raporu arkadaşlarınızla ve meslektaşlarınızla paylaşın.
Herhangi bir soru ya da öneriniz varsa lütfen bizimle surveys@jetbrains.com adresinden iletişime geçin.