Methodik

Dies ist ein öffentlicher Bericht, dessen Inhalte bei korrekter Quellenangabe verwendet werden dürfen.

Anzahl der Befragten

Mehr als 38.000 Personen haben an der Entwicklungsökosystem-Umfrage 2022 teilgenommen. Um sicherzustellen, dass wir mit einer möglichst repräsentativen Stichprobe arbeiten, haben wir die Daten wie im Folgenden beschrieben bereinigt. In der Folge basiert dieser Bericht auf den Antworten von 29.269 Entwickler*innen aus 187 Ländern oder Regionen, darunter zwei Antwortbögen, die aus der Antarktis stammen sollen. Wie zum Schluss dieses Abschnitts beschrieben, wurden die Daten nach mehreren Kriterien gewichtet.

Datenbereinigungsprozess

Wir haben auch teilweise ausgefüllte Antwortbögen ausgewertet, außer in Fällen, in denen die Befragten die Umfrage vor der Beantwortung der Fragen zu ihren Haupt-Programmiersprachen abgebrochen haben. Wir haben zudem eine Reihe von Kriterien verwendet, um verdächtige Antwortbögen zu identifizieren und auszuschließen. Dabei haben wir unter anderem folgende Indizien überprüft:

Antwortbögen, die zu schnell ausgefüllt wurden.
Umfragen von identischen IP-Adressen sowie Umfragen mit weitestgehend ähnlichen Antworten. Wenn zwei Antwortbögen mit derselben IP-Adresse zu mehr als 75% identisch waren, haben wir diejenige behalten, die vollständiger war.
Antwortbögen mit widersprüchlichen Angaben, zum Beispiel „18 bis 20 Jahre alt“ kombiniert mit „mehr als 16 Jahre Berufserfahrung“.
Antwortbögen, in denen bei fast allen Multiple-Choice-Fragen nur eine Antwort gewählt wurde.
Antwortbögen, die mit der gleichen E-Mail-Adresse eingereicht wurden. In solchen Fällen haben wir den Antwortbogen behalten, der am vollständigsten war.

Begrenzung des Beantwortungsaufwands

In diesem Jahr bestand die Umfrage aus 527 Fragen. Das kam uns zu lang vor, obwohl es unser Ziel war, so viele Forschungsthemen wie möglich abzudecken, und obwohl wir eine entsprechende Logik einsetzten.

Um die Umfrage zu verkürzen und den Beantwortungsaufwand zu verringern, wurden einige Fragen randomisiert gestellt:

Es gab acht randomisierte Abschnitte, von denen jeder teilnehmenden Person nur zwei angezeigt wurden:
- Continuous Integration, Issue-Tracking und VCS
- DevOps und Hosting
- Statische Analyse, Open Source usw.
- Bildung
- Plattformunabhängigkeit und Microservices
- Kommunikationstools
- Sicherheit
- Remote- und kollaborative Entwicklung
Wir haben die Abschnitte über die gängigsten Sprachen wie Java, JavaScript, SQL, Python und GraphQL randomisiert 50% der qualifizierten Befragten gezeigt.
Wir haben auch Fragen, die keine Logik oder Abhängigkeiten hatten, randomisiert ausgeblendet.

Trotz unserer Maßnahmen zur Reduzierung des Aufwands für das Ausfüllen der Umfrage haben die Befragten im Durchschnitt etwa 30 bis 40 Minuten für ihre Antworten benötigt, was aus unserer Sicht immer noch zu viel ist. Wir grübeln bereits darüber nach, wie wir die Erfahrung im kommenden Jahr verbessern können.

Unsere Zielgruppe

Um potenzielle Teilnehmer*innen zum Ausfüllen der Umfrage einzuladen, verwendeten wir Twitter-Ads, Facebook-Ads, Instagram, Quora und JetBrains-eigene Kommunikationskanäle. Außerdem veröffentlichten wir Links in einigen Benutzergruppen und Tech-Community-Kanälen, und wir baten unsere Befragten, den Link zur Umfrage im Kollegenkreis zu teilen.

Länder und Regionen

Wir haben ausreichend große Stichproben aus 14 Ländern gesammelt: Argentinien, Brasilien, China, Deutschland, Frankreich, Indien, Japan, Kanada, Mexiko, Spanien, Südkorea, Türkei, Vereinigtes Königreich und Vereinigte Staaten.

In diesem Jahr haben wir keine bezahlten Anzeigen geschaltet, um Antworten aus Belarus, Russland und Ukraine zu sammeln. Die Antwortbögen aus Belarus wurden mit Osteuropa, dem Balkan und der Kaukasusregion kombiniert.

Die restlichen Länder wurden sechs Regionen zugeordnet:

Afrika, Naher Osten und Zentralasien
Osteuropa, Balkan und Kaukasus
Nordeuropa und Benelux-Länder
andere europäische Länder
Südostasien und Ozeanien, Australien und Neuseeland
Mittel- und Südamerika

Für jede geografische Region (außer Kanada und Japan) haben wir mindestens 300 Antworten aus externen Quellen – z. B. Anzeigen – gesammelt.

Lokalisierung

Um mögliche Verzerrungen zu Ungunsten nicht englischsprachiger Teilnehmer*innen zu minimieren, war die Umfrage auch in 8 weiteren Sprachen verfügbar: Chinesisch, Deutsch, Französisch, Japanisch, Koreanisch, brasilianisches Portugiesisch, Spanisch und Türkisch.

Reduzierung der Stichprobenverzerrung

Der Bericht basiert auf Daten, die nach dem Herkunftsort der Antwortbögen gewichtet wurden. Als Basis dienten uns Antwortbögen aus externen Quellen, bei denen die Überrepräsentanz von JetBrains-Benutzer*innen weniger ausgeprägt ist, wie z. B. bezahlte Anzeigen auf Twitter, Facebook, Instagram, Quora und Empfehlungen von Befragten. Bei der Berechnung der Ergebnisse gemäß den Gewichtungsverfahren haben wir die Quelle der einzelnen Befragten berücksichtigt.

Wir führen bis zu drei Gewichtungsphasen durch, um ein möglichst unverzerrtes Bild der weltweiten Entwicklerpopulation zu erhalten.

Erste Gewichtungsstufe: Gewichtung gemäß den Populationen von professionellen Entwickler*innen den einzelnen Regionen

In der ersten Phase erfassten wir die Antworten, die durch das Länder-Targeting gesammelt wurden. Auf diese Daten wendeten wir unsere Schätzungen zur Anzahl der Berufsentwickler*innen in den einzelnen Ländern an.

Am Anfang standen die Umfragedaten von Berufsentwickler*innen und berufstätigen Studierenden, die über Werbeanzeigen in sozialen Netzwerken in den 20 Regionen rekrutiert wurden, sowie die Daten von Befragten, die über verschiedentliche Weiterempfehlungen zur Umfrage kamen. Zwar haben wir in diesem Jahr keine Daten für Russland und Ukraine erhoben, wir haben jedoch die beiden Länder in den Bericht aufgenommen und gewichtet, indem wir Näherungswerte aus den Vorjahresdaten verwendet haben. Unser Gedanke dabei war, dass es in beiden Ländern eine beträchtliche Anzahl von Entwickler*innen gibt, deren Ausschluss aus dem Bericht unerwartete Folgen haben könnte.

Diese Daten wurden dann entsprechend der geschätzten Entwicklerpopulation in den 22 Regionen gewichtet. Dadurch wurde sichergestellt, dass die Verteilung der Antwortbögen der geschätzten Anzahl der Berufsentwickler*innen in den einzelnen Regionen entsprach.

Zweite Gewichtungsstufe: Anteile der derzeit erwerbstätigen und erwerbslosen Entwickler/innen

In der zweiten Phase normierten wir den Anteil der Studierenden und Erwerbslosen in jedem Land auf 17%. Diese Vorgehensweise entspricht der Methodik des Vorjahres, da dies die einzige verfügbare Schätzung des entsprechenden Bevölkerungsanteils ist.

An diesem Punkt hatten wir 14.330 Antworten aus externen Quellen, gewichtet nach Region und Erwerbsstatus.

Dritte Gewichtungsstufe: Haupterwerbsstatus, Programmiersprachen, Verwendung der JetBrains-Produkte

Die dritte Phase war relativ komplex und basierte auf dem Lösen von Gleichungssystemen. Ausgehend von diesen 14.330 gewichteten Antwortbögen berechneten wir für die Entwickler*innen in jeder Region neben ihrem Erwerbsstatus die Anteile für jede der über 30 Programmiersprachen sowie die Anteile der Antworten „Ich verwende aktuell JetBrains-Produkte“ und „Ich habe noch nie von JetBrains oder den Produkten des Unternehmens gehört“. Diese Anteile übernahmen wir als Konstanten in unsere Gleichungen.

Der nächste Schritt bestand darin, zwei weitere Gruppen von Antwortbögen aus anderen Quellen hinzuzufügen: JetBrains-eigene Kommunikationskanäle, zum Beispiel JetBrains-Accounts in sozialen Netzwerken und unser Marktforschungspanel, sowie Werbekampagnen in sozialen Netzwerken, die sich an die Nutzer*innen bestimmter Programmiersprachen richteten. Auf diesem Wege erhielten wir 14.939 weitere Antwortbögen, die wir so gewichteten, dass all diese Anteile gleich blieben.

Lösung des Systems von mehr als 30 linearen Gleichungen und Ungleichungen

Wir haben ein System von mehr als 30 linearen Gleichungen und Ungleichungen zusammengestellt, um Folgendes zu beschreiben:

Die Gewichtungskoeffizienten der Befragten (zum Beispiel repräsentiert Fiona aus unserer Stichprobe durchschnittlich 180 Softwareentwickler*innen aus Frankreich).
Die konkreten Antworten (z. B. Pierre nutzt C++, arbeitet in Vollzeit und hat noch nie von JetBrains gehört).
Die erforderlichen Relationen zwischen ihren Antworten (z. B. 27% der Entwickler*innen haben in den letzten 12 Monaten C++ verwendet, usw.).

Um dieses Gleichungssystem mit einer minimalen Varianz der Gewichtungskoeffizienten (wichtig!) zu lösen, verwendeten wir die duale Methode von Goldfarb und Idnani (1982, 1983), mit deren Hilfe wir optimale individuelle Gewichtungskoeffizienten für die insgesamt 29.269 Befragten ermitteln konnten.

Restverzerrung

Trotz dieser Maßnahmen ist mit gewissen verbleibenden Verzerrungen zu rechnen, da JetBrains-Anwender*innen im Durchschnitt eher bereit sein dürften, die Umfrage zu beantworten.

Auch unser Community-Ökosystem entwickelt sich weiter, und so kann es trotz unserer Gewichtungsbemühungen zu Datenschwankungen kommen. So nahmen zum Beispiel im Jahr 2021 erheblich mehr PHP-Entwickler*innen (speziell Laravel) an unserer Befragung teil. Der Grund dafür war, dass die persönlichen Links zum Teilen der Umfrage in einigen PHP-Communities gepostet wurden und der Link zu unserem Blogartikel außerdem vom Laravel-Account getwittert wurde. Dies bewog einen überproportional hohen Anteil an PHP- und Laravel-Entwickler*innen dazu, an der Umfrage teilzunehmen. Wir werden unsere Gewichtungsalgorithmen verbessern, um solche Ausreißer zu kompensieren.

Wir werden unsere Gewichtungsmethodik auch in Zukunft weiter aktualisieren und verfeinern. Bleiben Sie gespannt auf unsere Ideen für die DevEco 2023!

Zurück