Metodoloji

2021 Yazılım Geliştirici Ekosistemi Anketine 47.000'den fazla kişi katıldı. Bu rapor, 183 ülke ya da bölgeden 31.743 geliştiricinin yanıtlarına dayalıdır. Bu yanıtların ağırlığı aşağıdaki paragraflarda açıklandığı gibi farklı kriterlere göre belirlenmiştir.

Katılımcının ana programlama dili ile ilgili soruları yanıtlamadan anketi yarıda bıraktığı durumlar haricinde kısmi yanıtları da değerlendirmeye aldık. Ayrıca şüpheli yanıtları tespit edip değerlendirme dışında bırakmak için belirli kriterler uyguladık. Kontrol ettiğimiz göstergelerden bazıları şunlardır:

• Çok hızlı şekilde doldurulan anketler.
• Aynı IP adresinden gönderilen ve yanıtları yüksek oranda benzeşen anketler. Szymkiewicz-Simpson kesişim katsayısına göre iki yanıt %75'ten fazla benzeşme oranına sahipse daha fazla yanıtlanan anketi koruruz.
• Çelişkili yanıtlara sahip anketler. Örneğin, "18-20 yaşındayım" yanıtıyla çelişecek şekilde "16 yıldan daha fazla profesyonel deneyimim var" bilgisi verilmesi.
• Neredeyse tüm çoktan seçmeli sorular için yalnızca tek seçeneği bulunan anketler.
• Aynı e-posta adresinden iletilen çok sayıda anket arasından yalnızca en çok yanıtın yer aldığı anketi değerlendirmeye alacağız.

Anketi kısaltmak ve yanıt yükünü azaltmak amacıyla bazı bölümler katılımcılara rastgele gösterilmiştir. Katılımcıların sadece ikisini görebildiği yedi bölüm rastgele sunulmuştur:

• Sürekli Tümleştirme, Sorun İzleme araçları ve VCS
• Sınama
• DevOps ve Barındırma
• Statik analiz, Açık kaynak vb.
• Eğitim
• Platformlar arasılık ve Mikro hizmetler
• İletişim aaraçları

Örneğin, bir katılımcı iş rolü olarak Test Görevlisi / KK Mühendisi veya DevOps Mühendisi / Altyapı Geliştiricisi rolünü seçtiyse iş rolüne dair belirli bir bölüm ve rastgele seçilmiş bir diğer bölüm de kesin olarak verilmiştir.

Olabildiğince çok sayıda araştırma konusunu ele alma hedefimizi gerçekleştirirken katılımcıların daha az vaktini almaya özen göstersek de katılımcıların anket için harcadıkları ortalama sürenin makul seviyeden daha fazla olduğunu fark ettik. Gelecek yıl daha iyi bir deneyim sunmak için anket yapısını gözden geçireceğiz.

Bu rapor, taraflılığı en aza indirmek için Twitter ve Facebook reklamlarından, Instagram'dan, Quora'dan, VK'dan ve katılımcı yönlendirmelerinden gelen yanıtlara göre ağırlıklandırılan verileri temel alır. Ağırlıklandırma prosedürlerine dayalı sonuçlar elde etmek için her katılımcının kaynağını tek tek göz önünde bulundurduk. Dünyadaki geliştirici nüfusuna dair mümkün olduğunca en az taraflı genel bir panoramasını elde etmek için üç aşamalı bir ağırlıklandırma uyguladık.

İlk ağırlıklandırma aşaması: 23 bölgede profesyonel geliştiricilerin popülasyonu

İlk aşamada, farklı ülkeleri hedef alırken topladığımız yanıtları bir araya getirdik, daha sonra her ülkedeki profesyonel yazılım geliştiricisi nüfuslarına dair tahminlerimizi bu verilere ekledik.

Öncelikle, 23 bölgede çeşitli sosyal ağlarda yayınlanan reklamlardan gelen profesyonel geliştiricilerin ve çalışan öğrencilerin anket verileri ile çeşitli meslektaş yönlendirmelerinden gelen verileri topladık. Daha sonra, bu 23 bölgedeki profesyonel geliştirici nüfusü tahminimize göre tüm bu yanıtları ağırlıklandırdık. Böylece yanıtların dağılımının her bir ülkedeki profesyonel geliştirici sayısına dair tahminlerimizle eşleşmesini sağladık.

İkinci ağırlıklandırma durumu: Şu anki çalışan ve işsiz yazılımcı durumu

İkinci aşamada, öğrenci ve işsiz katılımcı oranını (aynı dış reklam kampanyaları üzerinden katılım gösterenler) her ülke için %17'de tuttuk. Önceki yılın metodolojisiyle tutarlılık sağlamak için bu oranı belirledik. Zira bu katılımların popülasyonlarına dair sahip olduğumuz tek tahmin bu.

Sonuç olarak, şirket dışı 19.281 katılımcıdan aldığımız yanıtlar ülke ve iş durumuna göre ayrıldı.

Üçüncü ağırlıklandırma aşaması: istihdam durumu, programlama dilleri, JetBrains ürünlerinin kullanımı

Üçüncü aşama epey karmaşıktı ve denklem sistemlerinin çözümüyle elde edilen hesaplamalar içeriyordu. Bu ağırlıklı 19.281 yanıtı ele aldık. Her ülkeden geliştiriciler için çalışma durumlarıyla birlikte hem 30'u aşkın programlama dili için ayrı ayrı paylarını hem de "Şu anda JetBrains ürünleri kullanıyorum" ve "JetBrains'i veya ürünlerini hiç duymadım" yanıtlarını verenlerin paylarını hesapladık. Bu paylar, denklemlerimizde sabit sayılara dönüştüler.

Bir sonraki aşamada ise şu kaynaklardan gelen iki grup yanıt daha eklendi: JetBrains sosyal ağ hesapları ve araştırma panelimiz gibi JetBrains şirket içi iletişim kanalları ile belirli programlama dili kullanıcılarını hedefleyen sosyal ağ reklam kampanyaları. Sonuç olarak tüm dağılımı eşit seviyede ağırlıklandırdığımız 12.462 yanıt daha rapora eklendi.

30'dan fazla doğrusal denklem ve eşitsizlik sisteminin çözümü

30+ lineer denklem ve eşitsizlik içeren bir sistem oluşturduk ve şunları açıkladık:

• Katılımcıların ağırlıklandırma katsayıları (ör. örneklemimizden Fiona, Fransa'dan ortalama 180 yazılım geliştiricisini temsil ediyor).
• Yanıtların özgül değerleri (Pierre C++ kullanıyor, tam zamanlı çalışıyor ve JetBrains'i hiç duymamış).
• Yanıtlar arasında zorunlu oranlar (örneğin, geliştiricilerin %27'si, son 12 ayda C++ kullandı gibi).

Ağırlıklandırma katsayılarında minimum sapma (bu önemlidir!) ile bu denklemler sistemini çözmek için Goldfarb ve Idnani (1982, 1983) ikili yöntemini kullandık Bu yöntem katılımcılar için optimal bireysel ağırlıklandırma katsayılarını harmanlamamıza yardımcı oldu.

Bu önlemlere rağmen muhtemelen bazı önyargılar yine de var, çünkü ortalama olarak JetBrains kullanıcılarının anketi tamamlamaya daha çok istekli olmaları gerekirdi.

Ayrıca, topluluk ekosistemimiz gelişiyor ve ağırlıklı hesaplama aşamalarımıza ve çabalarımıza rağmen verilerde dalgalanma olabilir. Örneğin, JVM için uygulamalarını derleyen Kotlin kullanıcılarının payı, Kotlin dilinin genel payında herhangi bir değişiklik olmamasına rağmen kaynaklarımızdaki Kotlin/JVM taraflılığından dolayı verilerimizde büyüdü.

Gelecekte ağırlıklandırma metodolojimizi güncellemeye ve geliştirmeye devam edeceğiz. DevEco 2022 raporu için takipte kalın!