Veri Bilimi
Paylaş:
Bu bölümdeki sorular İş Zekası, Veri Analizi, Veri Mühendisliği, Makine Öğrenimi alanlarında çalışan ya da Veri Analisti / Veri Mühendisi / Veri Bilimcisi ya da İş Analisti iş rolünde görev üstlenen geliştiricilere gösterildi.
Katılımcıların oldukça büyük bir kısmı veri bilimi sorumlulukları ile diğer aktiviteleri beraberinde yürütüyor. Bu sonuçlar, camiada demokratikleşme ve pazarın büyümesi için potansiyel olduğunu gösteriyor.
JetBrains'te ekipler için iş birliğine dayalı veri bilimi platformu Datalore'u geliştirdik. Datalore, veri uzmanları için mükemmel kodlama deneyimi sunarken ayrıca veri keşfi ve görselleştirme iş akışları için kodsuz otomasyonlar sağlar. Bu, teknik olmayan rollerdeki kullanıcıların bile temel veri ekibiyle aynı aracı kullanarak tek seferlik raporlama ve veri görselleştirme yapabileceği anlamına gelir.
Veri Bilimcisi, Veri Mühendisi, Makine Öğrenimi Mühendisi gibi özel veri uzmanı pozisyonları nispeten yeni. Katılımcılarımızın birçoğu yan alanlarda çalıştıktan veya eğitim aldıktan sonra bu rollere geçmiş. Bu nedenle, bireysel çalışma ya da çevrimiçi kurslarla becerilerini geliştirmeleri gerekmiş. STEM'de lisans üstü dereceler, geleneksel olarak veri bilimi veya makine öğrenimine geçiş için en yaygın izlenen yol. Geçen yedi yıldaki trendler, bu alanlarda çalışan daha fazla sayıda kişinin lisans programıyla girdiğini gösteriyor. 2015'te %20 olan oran 2021'de %31'e yükseldi. Veri becerilerinde uzmanlık sağlayan yeni lisans programlarından mezun kişilerin sayısı arttıkça bu sonuçların bahsi geçen becerileri örgün eğitim yoluyla edinen kişilerin lehinde değiştiğini görebiliriz.
Jupyter not defterleri, veri bilimi ve veri analizi işleri için en çok tercih edilen düzenleyici oldu. Katılımcılardan %40'ı bu aktiviteler için not defterlerini kullandığını belirtti. Bu sonuç; veri toplama ve görselleştirme, keşif veri analizi ya da makine öğrenimi modelleme için %70'inin Jupyter not defterleri kullandıklarını belirten katılımcılar arasında bile daha yüksekti.
Son araştırmamızdan bu konu hakkında daha fazla bilgi edinin. 2019'dan 2020'ye kadar Python 3 not defterlerinin sayısının %87 oranında, Python 2 not defterlerinin ise %12 oranında arttığını tespit ettik.
Jupyter not defterleri, en popüler araç seçimi olmaya devam ediyor. Katılımcıların %42'si bu araçları kullanırken, veri alıntılama yapanların %50'den fazlası ana aktiviteleri olarak çalışıyor. Bu araç, başlıca veri keşfetme ve model prototipleri oluşturma gibi keşif işleri için kullanılır. Ancak asıl olarak veri uzmanı olarak çalışanlar arasında bile yalnızca katılımcıların küçük bir kısmı çalışma zamanlarının %40'ından fazlasında not defterlerini kullanıyor.
Kendi not defterlerini versiyonlayanların yüzdesi oldukça yüksek. Bu, veri profesyonellerinin büyük bir kısmının not defterlerini korumaları gereken kod gibi gördüklerini gösterdiğinden iyiye işaret. Not defterlerini versiyonlayanlar arasında en popüler araçlar Git ve GitHub.
Jupyter not defterlerini Git satır içi arayüzü (CLI) ile versiyonlamak zor olabilir. Şanslı bir şekilde, DataSpell Git ile çalışmak için depo ayarlama, not defterleri ekleme ve aktarma ve not defterlerini kaydetme sayısı arasındaki farkları görüntüleme gibi kullanıcı arayüzü üzerinden temel görevleri gerçekleştirmeyi daha kolay hale getiren çok çeşitli özelliklere sahip. Bu görevlerin tümünü tek bir Git komutunu bile hatırlamanıza gerek kalmadan yapabilirsiniz! DataSpell'de Git'i Jupyter not defterleri ile kullanmayı öğrenmek için bu makaleyi inceleyin.
Yerel dosyalara ek olarak SQL veritabanları, veri uzmanları arasında en yaygın kullanılan veri kaynaklarıdır.
Datalore ile Jupyter not defterlerini saniyeler içinde harika veri uygulamalarına dönüştürebilirsiniz. Tuvaldeki hücreleri düzenleyin ve sonucu Statik veya İnteraktif modda yayınlayın. Paydaşlarınız bağlantı üzerinden rapora erişebilir.
Raporu görüntüleRegresyon ve ağaç temelli yöntemler gibi temel makine öğrenimi algoritmaları yaygın bir şekilde kullanılmaya devam ediyor. Bununla birlikte, katılımcıların çoğu dönüştürücü mimariler başta olmak üzere nöral ağlar da kullanıyor. İyileşen kullanım kolaylığı ve dönüştürücü ağların artan popülerliği, katılımcıların dörtte birinden fazlasının neden NLP işleri yaptığını açıklayabilir. İlginç bir şekilde, katılımcıların yalnızca beşte biri, işlerinin bir parçası olarak istatiksel testi kullandığını bildirdi. Bu bilgi, makine ve derin öğrenimin temel veri becerisi olarak klasik istatistiğin yerini aldığını öneriyor.
TensorFlow, tüm katılımcılar arasında en popüler derin öğrenme çerçevesi olmasına rağmen TensorFlow ve PyTorch ana aktiviteleri olarak veri işleri yapan katılımcılar arasında eşit oranda kullanılır. Scikit-learn, en popüler makine öğrenimi kitaplığıdır ancak XGBoost ve LightGBM gibi ağaç temelli modelleme için uzman paketler ve çerçeveler katılımcıların önemli ölçüde küçük bir kısmı tarafından kullanılır.
Amazon hizmetleri, en popüler kurumsal bulut çözümleridir.
Katılımcıların çoğunluğu (%70) bir ekipte 10 kişiden az küçük gruplarda çalışıyor. Beş katılımcıdan biri 15'ten fazla veri uzmanı olan ekiplerde çalışıyor.
Ekiplerin veya departmanların yaklaşık %50'si özel bir Veri Mühendisi pozisyonuna sahip.
Katılımcıların %50'sinden fazlası ekiplerinde ya veri mühendisleri ya da makine öğrenimi mühendisleri olduğunu bildirdi. Hem Veri Mühendisi hem de ML Mühendisi şirkete göre büyük ölçüde farklılık gösterebilen kapsamlı unvanlar olduğundan, bu rollerde çalışanlar model dağıtımı ve veri ardışık düzeni yönetimi gibi makine öğrenimine ilişkin benzer görevlerden sorumlu olabiliyor. Beklendiği üzere, ekip ne kadar büyükse bu rollerden birinde çalışan kişilerin olma ihtimali de o kadar yüksek. Veri ekiplerinde 1-2 üyesi olan katılımcıların %80'den fazlasının ya özel bir veri mühendisi ya da ML mühendisi yokken 15 kişiden fazla veri ekipleri olan katılımcıların %79'unun özel veri mühendisleri ve %65'inin ML mühendisleri var.
Katılımcıların yalnızca yarısından azı makine veya derin öğrenme modelleri eğitirken bu rakam ana aktiviteleri olarak veri işi yürüten katılımcılar arasında %60'a kadar yükseliyor. Bu veri, sektörde tahmin modellemesinin veri işleminin temel bileşenlerinden biri olacağını gösteriyor.
Çoğu katılımcı makine veya derin öğrenme modellerini eğitmek için GPU kullandığını belirtti. VRAM gereksinimi, katılımcıların veri işlerini nasıl yürüttüğüne bağlı olarak değişiyor. Ana iş aktivitesi olarak veri işleri yürüten yalnızca %18'lik kesimle kıyaslandığında, hobi ya da eğitim amacıyla veri işleri yürüten katılımcıların %40'ı 8 GB'ın yeterli olduğunu belirtti.
Çoğu katılımcı model eğitimi için haftada 20 saate kadar vakit ayırdığını belirtti, buna muhtemelen bir gecelik model eğitimi de dahil. Yaklaşık üçte biri, model eğitmek için haftalık 5 saat veya daha az zaman ayırıyor. Bu, model eğitiminin veri bilimi işinin görece küçük bir parçasını oluşturduğunu ve zamanın büyük bir kısmının veri hazırlama ve keşfi için harcandığını gösteren önceki sonuçlarla tutarlı.
Anketimizdeki diğer yanıtlar, not defterlerinde yapılan ana aktivitenin veri keşfi ve görselleştirme olduğunu ve katılımcıların çoğunun yerel dosyalarda çalıştığını ve veri bilimi işlerini tamamlamak için yerel kaynakları da kullandığını gösteriyor. Şaşırtıcı olarak bu bulgu, katılımcıların veri işlerini nasıl yaptıklarına bağlı olarak değişiklik göstermiyor. Ana aktiviteleri olarak veri işleriyle uğraşan kişiler de yerel kaynakları hobi olarak ya da eğitim amaçları için kullananlar kadar kullanıyor.
Katılımcıların büyük bir kısmı model eğitim deneylerinin performansını takip etmek için herhangi bir araç kullanmadığını belirtti. Ancak bu tarz araçların kullanılma ihtimali, 15 veya daha fazla kişiden oluşan ekiplerde (bu büyüklükteki ekiplerden katılımcıların %58'i en az bir tane kullanıyor), özel bir Makine Öğrenimi Mühendisi (%62) bulunan ekiplerde ya da katılımcı makine öğrenimi modelleme ve Makine Öğrenimi Operasyonları işleriyle ilgileniyorsa (%63) daha yüksektir. Bu, bu tarz araçların makine öğrenimi modeli geliştirmeyle ilgili uzman bilgisinin olduğu ortamlarda kullanılma eğiliminin olduğunu gösteriyor.
Veri keşfetmek ve sunmak için basit fakat anlamlı grafikler, veri uzmanlarının çoğu tarafından kullanıldı. Bu grafikler, veri toplama ve keşif amaçlı veri analizinden veri akışı düzenleme ve ML Operasyonlarına kadar dahil oldukları veri aktivitesi türünden bağımsız olarak katılımcıların büyük bir kısmı tarafından kullanıldı.
Zaman ayırdığınız için teşekkür ederiz!
Raporumuzu faydalı bulduğunuzu umuyoruz. Bu raporu arkadaşlarınızla ve meslektaşlarınızla paylaşın.
Herhangi bir soru ya da öneriniz varsa lütfen bizimle surveys@jetbrains.com adresinden iletişime geçin.