Methodik
Der Bericht zum Stand des Entwicklungsökosystems 2024 ist öffentlich zugänglich. Sein Inhalt darf wie hier beschrieben nur für nichtkommerzielle Zwecke verwendet werden.
Anzahl der Befragten
Die Umfrage wurde von Mai bis Juni 2024 durchgeführt. Um eine repräsentative Stichprobe zu gewährleisten, haben wir die Daten wie im Folgenden beschrieben bereinigt. In der Folge basiert dieser Bericht auf den Antworten von 23.262 Entwickler*innen aus 171 Ländern oder Regionen, darunter ein Antwortbogen aus der Antarktis. Wie zum Schluss dieses Abschnitts beschrieben, wurden die Daten nach mehreren Kriterien gewichtet.
Datenbereinigung
Wir haben unvollständige Antwortbögen nur dann ausgewertet, wenn die Frage nach der Verwendung von Programmiersprachen beantwortet wurde. Wir haben außerdem 34 Kriterien angewendet, um verdächtige Antwortbögen zu identifizieren und auszuschließen, darunter:
- Antwortbögen, die zu schnell ausgefüllt wurden.
- Antwortbögen von identischen IP-Adressen oder mit weitestgehend ähnlichen Antworten. Wenn zwei Antwortbögen mit derselben IP-Adresse zu mehr als 75% identisch waren, haben wir denjenigen behalten, der vollständiger war.
- Antwortbögen mit widersprüchlichen Angaben, zum Beispiel „18–20 Jahre alt“ kombiniert mit „mehr als 16 Jahre Berufserfahrung“.
- Antwortbögen, in denen bei fast allen Multiple-Choice-Fragen nur eine Antwort gewählt wurde.
- Antwortbögen, die mit der gleichen E-Mail-Adresse eingereicht wurden. In solchen Fällen haben wir den Antwortbogen behalten, der am vollständigsten war.
Begrenzung des Beantwortungsaufwands
In diesem Jahr bestand die Umfrage aus 672 Fragen.
Unser Ziel war es, eine Vielzahl von Forschungsbereichen abzudecken. Daher wurden den einzelnen Befragten auf Grundlage ihrer vorherigen Antworten bestimmte Abschnitte angezeigt, während andere übersprungen wurden. Zum Beispiel wurden Fragen zu Go nur Programmierer*innen gestellt, die Go verwenden. Darüber hinaus haben wir Fragen und Abschnitte randomisiert, um die Belastung der einzelnen Befragten weiter zu reduzieren.
Das Ausfüllen der Umfrage dauerte durchschnittlich 30 Minuten. Wir haben uns bisher schon bemüht, den Prozess zu vereinfachen, und wir wollen ihn im nächsten Jahr noch effizienter gestalten.
Targeting
Wir haben potenzielle Teilnehmer*innen über Google-Ads, X-Ads, Facebook-Ads, Instagram, Reddit, Quora, BilliBilly, MaiMai, Zhihu, dev.to, Codezine, TLDR, IT Media und die JetBrains-eigenen Kommunikationskanäle angesprochen. Außerdem veröffentlichten wir Links in Benutzergruppen und Tech-Community-Kanälen, und wir baten unsere Befragten, die Umfrage im Kollegenkreis zu teilen.
Länder und Regionen
Wir haben ausreichend große Stichproben aus 20 geografischen Regionen gesammelt. Die 13 Länder mit den meisten Entwickler*innen – Argentinien, Brasilien, China, Deutschland, Frankreich, Indien, Japan, Kanada, Mexiko, Spanien, Südkorea, Vereinigtes Königreich und USA – bildeten einzelne Regionen. Die übrigen Länder wurden wie folgt in sieben weitere Regionen eingeteilt:
- Naher Osten, Afrika und Zentralasien
- Osteuropa, Balkan und Kaukasus
- Benelux und Nordeuropa
- Nördliches und östliches Mittelmeer (einschließlich Zypern, Israel und Portugal)
- Mitteleuropa
- Restliches Südostasien und Ozeanien (inkl. Australien und Neuseeland)
- Mittel- und Südamerika (ohne Argentinien, Brasilien und Mexiko)
Für jede Region haben wir mindestens 300 Antwortbögen aus externen Quellen gesammelt, etwa über Anzeigen oder Empfehlungen von Befragten.
Lokalisierung
Für eine maximale Inklusivität und ein möglichst großes Teilnehmerspektrum war die Umfrage in neun Sprachen verfügbar: Chinesisch, Deutsch, Englisch, Französisch, Japanisch, Koreanisch, brasilianisches Portugiesisch, Russisch und Spanisch.
Reduzierung der Stichprobenverzerrung
Wir gewichteten die Daten entsprechend dem Ursprung der Antwortbögen. Als Basis dienten uns Antwortbögen aus externen Quellen, die weniger Verzerrungen in Bezug auf den Anteil der JetBrains-Benutzer*innen aufweisen, wie z. B. bezahlte Anzeigen auf X, Facebook, Instagram, Quora und Empfehlungen von Befragten. Bei der Berechnung der Ergebnisse gemäß den Gewichtungsverfahren haben wir die Quelle der einzelnen Befragten berücksichtigt.
Wir haben drei Gewichtungsphasen durchgeführt, um ein möglichst unverzerrtes Bild der weltweiten Entwicklerpopulation zu erhalten.
Phase 1: Gewichtung gemäß den Populationen von professionellen Entwickler*innen den einzelnen Regionen
In der ersten Phase trugen wir die Antworten aus den unterschiedlichen Ländern zusammen. Anschließend wandten wir unsere Schätzungen für die Populationen von Berufsentwickler*innen in den einzelnen Ländern auf diese Daten an.
Am Anfang standen die Umfragedaten von Berufsentwickler*innen und berufstätigen Studierenden, die über Werbeanzeigen in verschiedenen sozialen Netzwerken in den 20 Regionen zu uns weitergeleitet wurden, sowie die Daten von Befragten, die über verschiedentliche Weiterempfehlungen zur Umfrage kamen. Diese Daten wurden dann entsprechend der geschätzten Entwicklerpopulation in den 20 Regionen gewichtet. Dadurch wurde sichergestellt, dass die Verteilung der Antwortbögen der geschätzten Populationsgröße der Berufsentwickler*innen in den einzelnen Regionen entsprach.
Phase 2: Anteil der derzeit beschäftigten und arbeitslosen Entwickler*innen
In der zweiten Phase setzten wir den Anteil der Studierenden und Erwerbslosen in jedem Land auf 17% fest. Diese Vorgehensweise entspricht der Methodik des Vorjahres, da dies die einzige verfügbare Schätzung des entsprechenden Bevölkerungsanteils ist.
An diesem Punkt hatten wir eine Verteilung von Antworten aus externen Quellen, gewichtet nach Region und Erwerbsstatus.
Phase 3: Erwerbsstatus, Programmiersprachen und Nutzung von JetBrains-Produkten
Die dritte Phase war relativ komplex und basierte auf dem Lösen von Gleichungssystemen. Ausgehend von diesen gewichteten Antwortbögen berechneten wir für die Entwickler*innen in jeder Region neben ihrem Erwerbsstatus die Anteile für jede der über 30 Programmiersprachen sowie die Anteile der Antworten „Ich verwende aktuell JetBrains-Produkte“ und „Ich habe noch nie von JetBrains oder dessen Produkten gehört“. Diese Anteile übernahmen wir als Konstanten in unsere Gleichungen.
Der nächste Schritt bestand darin, zwei weitere Gruppen von Antwortbögen aus anderen Quellen hinzuzufügen: JetBrains-eigene Kommunikationskanäle, zum Beispiel JetBrains-Accounts in sozialen Medien und unser Marktforschungspanel, sowie Werbekampagnen in sozialen Netzwerken, die sich an die Nutzer*innen bestimmter Programmiersprachen richteten.
Lösen des linearen Gleichungs- und Ungleichungssystems
Wir haben ein System von mehr als 30 linearen Gleichungen und Ungleichungen zusammengestellt, um Folgendes zu beschreiben:
- Antwortbögen, die zu schnell ausgefüllt wurden.
- Die Gewichtungskoeffizienten der Befragten (als hypothetisches Beispiel repräsentiert Fiona aus unserer Stichprobe durchschnittlich 180 Softwareentwickler*innen aus Frankreich).
- Die konkreten Inhalte ihrer Antworten (zum Beispiel dass Pierre C++ verwendet, voll berufstätig ist und noch nie von JetBrains gehört hat).
- Die erforderlichen Relationen zwischen ihren Antworten (z. B. 27% der Entwickler*innen haben in den letzten 12 Monaten C++ verwendet, usw.).
Um dieses Gleichungssystem mit einer minimalen Varianz der Gewichtungskoeffizienten (ganz wichtig!) zu lösen, verwendeten wir die duale Methode von Goldfarb und Idnani (1982, 1983), mit deren Hilfe wir optimale individuelle Gewichtungskoeffizienten für die insgesamt 23.262 Befragten ermitteln konnten.
Restverzerrung
Trotz dieser Maßnahmen ist mit gewissen Verzerrungen zu rechnen, da JetBrains-Anwender*innen im Durchschnitt eher bereit sein dürften, die Umfrage zu beantworten.
So sehr wir uns auch bemühen, die Verbreitung der Umfrage zu kontrollieren und sinnvolle Gewichtungen vorzunehmen, das Entwicklungsökosystem und die Communities entwickeln sich ständig weiter, und die Möglichkeit unerwarteter Datenschwankungen kann nicht vollständig ausgeschlossen werden.
Wir werden unsere Methodik auch in Zukunft weiter aktualisieren und verbessern. Sie haben also allen Grund, sich auf die Entwicklungsökosystem-Umfrage 2025 zu freuen!
Methodik
Der Bericht zum Stand des Entwicklungsökosystems 2024 ist öffentlich zugänglich. Sein Inhalt darf wie hier beschrieben nur für nichtkommerzielle Zwecke verwendet werden.
