Büyük Veri

Bu bölümdeki sorular Veri Analizi, Veri Mühendisliği, Makine Öğrenimi alanlarında çalışan ya da Veri Analisti / Veri Mühendisi / Veri Bilimcisi iş rolünde görev üstlenen geliştiricilere gösterildi.

Aşağıdaki toplu işleme araçlarından hangilerini kullanıyorsunuz?

Aşağıdaki akış işleme çerçevelerinden/araçlarından hangilerini kullanıyorsunuz?

Spark ekosistemi, toplu işlemler ve akış işleme için en popüler seçim olmaya devam ediyor.

Aşağıdaki akış düzenleme araçlarından hangilerini kullanıyorsunuz?

Tahmin edilebileceği gibi, Apache Airflow özellikle veri mühendisleri arasında en popüler düzenleme aracı. Kullanılan düzenleme araçlarının %9'unun özel veya kendi ürettikleri araç olması ise şaşırtıcı.

Spark çalıştırmak için aşağıdaki araçlardan hangilerini kullanıyorsunuz?

Kubernetes, YARN ve Amazon EMR, Spark yürütme için en popüler bulut çözümleridir. Kubernetes her geçen yıl daha popüler hâle gelirken, YARN kullanımı yıllar içinde yüzde %8 puan azaldı. Şirketler, YARN gibi ayrı sistemler kullanmak yerine, veri mühendisliği araçlarını BT ortamının diğer bölümlerine dâhil etmeyi tercih etme eğiliminde.

Veri gölleri oluşturmak için aşağıdaki araçlardan hangilerini kullanıyorsunuz?

Aşağıdaki MPP araçlarından hangilerini kullanıyorsunuz?

Katılımcıların çoğunluğu MPP araçlarını kullanmıyor ancak kullananlar BigQuery, Redshift veya Azure SQL Data Warehouse kullanmayı tercih ediyor.

Genellikle yeni kümeler mi oluşturuyorsunuz yoksa her zaman aynı kümeyle mi çalışıyorsunuz?

Veri mühendisliği görevleriniz için aşağıdaki motorlardan hangisini kullanıyorsunuz?

Önemli bir çoğunluk (%64) veri mühendisliği görevleri için herhangi bir motor kullanmadığını bildirdi. Motor kullanıcıları arasında BigQuery, Databricks ve AWS Athena her biri %10 paya sahip olmak üzere eşit derecede popülerdir. Amazon EMR, Redshift, AWS Glue ve Azure Analysis Services de bu motorları yakından takip ediyor.

Mesaj broker'ları veya mesaj sıraları (ör. Kafka, RabbitMQ) ile çalışıyor musunuz?

Veri mühendisliğiyle ilişkili mesajlaşma ve dağıtım için aşağıdaki araçlardan hangilerini kullanıyorsunuz?

Kafka, veri mühendisliğiyle ilişkili mesajlaşma ve dağıtım konusunda en popüler tercih (%58) olarak öne çıkarken, RabbitMQ %46 ile onu takip ediyor. Katılımcıların yalnızca %2'sinin herhangi bir mesajlaşma veya dağıtım aracı kullanmaması ise şaşırtıcı.

Veri mühendisliği kod tabanınızda testler yapıyor musunuz?

Hangi test çerçevelerini kullanıyorsunuz?

Katılımcıların büyük bir kısmı mühendislik kod tabanlarında test yürütmüyor. Test yürütenlerin %31'i arasında, en büyük oran ya herhangi bir çerçeve kullanmıyor ya da Great Expectations'tan yararlanıyor.