Methodik

Mehr als 47.000 Personen nahmen an der Entwicklungsökosystem-Umfrage 2021 teil. Dieser Bericht basiert auf den Antworten von 31.743 Entwickler*innen aus 183 Ländern oder Regionen. Wie in den nachfolgenden Abschnitten beschrieben wurden die Daten nach mehreren Kriterien gewichtet.

Wir haben auch teilweise ausgefüllte Antwortbögen ausgewertet, außer in Fällen, in denen die Befragten die Umfrage vor der Beantwortung der Fragen zu ihren Haupt-Programmiersprachen abgebrochen haben. Wir haben zudem eine Reihe von Kriterien verwendet, um verdächtige Antwortbögen zu identifizieren und auszuschließen. Dabei haben wir unter anderem folgende Indizien überprüft:

• Antwortbögen, die zu schnell ausgefüllt wurden.
• Umfragen von identischen IP-Adressen sowie Umfragen mit weitestgehend ähnlichen Antworten. Wenn zwei Antwortbögen gemäß ihrem Szymkiewicz-Simpson-Überlappungskoeffizienten zu mehr als 75% identisch waren, haben wir den Bogen mit mehr beantworteten Fragen behalten.
• Antwortbögen mit widersprüchlichen Angaben, zum Beispiel „18 bis 20 Jahre alt“ kombiniert mit „mehr als 16 Jahre Berufserfahrung“.
• Antwortbögen, in denen bei fast allen Multiple-Choice-Fragen nur eine Antwort gewählt wurde.
• Wenn mehrere Antwortbögen von derselben E-Mail-Adresse gesendet wurden, haben wir den Bogen mit der höchsten Ausfüllquote behalten.

Um die Umfrage zu verkürzen und den Beantwortungsaufwand zu verringern, wurden den Befragten einige Abschnitte nach dem Zufallsprinzip angezeigt. Es gab sechs randomisierte Abschnitte, und von diesen wurden jeder teilnehmenden Person nur zwei angezeigt:

• Continuous Integration, Issue-Tracking und VCS
• Testen
• DevOps und Hosting
• Statische Analyse, Open Source usw.
• Weiterbildung
• Plattformunabhängigkeit und Microservices
• Kommunikationstools

Wenn ein Befragter beispielsweise Tester/Qualitätskontrolleur oder DevOps-Engineer/Infrastrukturentwickler als Arbeitsbereich angab, wurde ihm der Abschnitt zu seinem jeweiligen Arbeitsbereich sowie ein weiterer zufällig ausgewählter Abschnitt vorgelegt.

Trotz unserer Maßnahmen, den Aufwand für die Befragten zu reduzieren und gleichzeitig möglichst viele Forschungsthemen abzudecken, haben wir festgestellt, dass die Befragten im Durchschnitt mehr Zeit für die Umfrage aufwenden, als wir vernünftigerweise von ihnen erwarten können. Wir werden die Struktur der Umfrage im nächsten Jahr überarbeiten, um diesen Aspekt zu verbessern.

Um Verzerrungen zu minimieren, basiert der Bericht auf gewichteten Daten in Bezug auf die Teilnehmer, die über Twitter-Ads, Facebook-Ads, Instagram, Quora, VK und Teilnehmerempfehlungen rekrutiert wurden. Bei der Berechnung der Ergebnisse gemäß den Gewichtungsverfahren haben wir die Quelle der einzelnen Befragten berücksichtigt. Wir haben drei Gewichtungsphasen durchgeführt, um ein möglichst unverzerrtes Bild der weltweiten Entwicklerpopulation zu erhalten.

Erste Gewichtungsstufe: Populationen von professionellen Entwickler*innen in 23 Regionen

In der ersten Phase erfassten wir die Antworten, die durch das Länder-Targeting gesammelt wurden. Auf diese Daten wendeten wir unsere Schätzungen zur Anzahl der Berufsentwickler*innen in den einzelnen Ländern an.

Am Anfang standen die Umfragedaten von Berufsentwickler*innen und berufstätigen Studierenden, die über Werbeanzeigen in sozialen Netzwerken in den 23 Regionen rekrutiert wurden, sowie die Daten von Befragten, die über verschiedentliche Weiterempfehlungen zur Umfrage kamen. Diese Daten wurden dann entsprechend der geschätzten Entwicklerpopulation in den 23 Regionen gewichtet. Dadurch wurde sichergestellt, dass die Verteilung der Antwortbögen der geschätzten Anzahl der Berufsentwickler*innen in den einzelnen Regionen entsprach.

Zweite Gewichtungsstufe: Anteile der derzeit erwerbstätigen und erwerbslosen Entwickler/innen

In der zweiten Phase normierten wir den Anteil der Studierenden und Erwerbslosen (die durch dieselben externen Werbekampagnen zu uns gefunden hatten) in jedem Land auf 17%. Diese Vorgehensweise entspricht der Methodik des Vorjahres, da dies die einzige verfügbare Schätzung des entsprechenden Bevölkerungsanteils ist.

Dadurch hatten wir 19.281 Antworten aus externen Quellen, gewichtet nach Land und Erwerbsstatus.

Dritte Gewichtungsstufe: Haupterwerbsstatus, Programmiersprachen, Verwendung der JetBrains-Produkte

Die dritte Phase war relativ komplex und basierte auf dem Lösen von Gleichungssystemen. Die Ausgangsdaten waren die 19.281 gewichteten Antworten. Für die Entwickler*innen in jedem Land berechneten wir neben ihrem Erwerbsstatus die Anteile für jede der über 30 Programmiersprachen sowie die Anteile der Antworten „Ich verwende aktuell JetBrains-Produkte“ und „Ich habe noch nie von JetBrains oder den Produkten des Unternehmens gehört“. Diese Anteile übernahmen wir als Konstanten in unsere Gleichungen.

Der nächste Schritt bestand darin, zwei weitere Gruppen von Antwortbögen aus anderen Quellen hinzuzufügen: JetBrains-eigene Kommunikationskanäle, zum Beispiel JetBrains-Accounts in sozialen Netzwerken und unser Marktforschungspanel, sowie Werbekampagnen in sozialen Netzwerken, die sich an die Nutzer*innen bestimmter Programmiersprachen richteten. Auf diesem Wege erhielten wir 12.462 weitere Antwortbögen, die wir so gewichteten, dass all diese Anteile gleich blieben.

Lösung des Systems von mehr als 30 linearen Gleichungen und Ungleichungen

Wir haben ein System von mehr als 30 linearen Gleichungen und Ungleichungen zusammengestellt, um Folgendes zu beschreiben:

• Die Gewichtungskoeffizienten der Befragten (zum Beispiel repräsentiert Fiona aus unserer Stichprobe durchschnittlich 180 Softwareentwickler*innen aus Frankreich).
• Die konkreten Antworten (Pierre nutzt C++, arbeitet in Vollzeit und hat noch nie von JetBrains gehört).
• Die erforderlichen Relationen zwischen ihren Antworten (z. B. 27% der Entwickler haben in den letzten 12 Monaten C++ verwendet, usw.).

Um dieses Gleichungssystem mit einer minimalen Varianz der Gewichtungskoeffizienten (dies ist wichtig!) zu lösen, verwendeten wir die duale Methode von Goldfarb und Idnani (1982, 1983), mit deren Hilfe wir optimale individuelle Gewichtungskoeffizienten für die Befragten ermitteln konnten.

Trotz dieser Maßnahmen ist mit gewissen verbleibenden Verzerrungen zu rechnen, da JetBrains-Anwender*innen im Durchschnitt eher bereit sein dürften, die Umfrage zu beantworten.

Auch unser Community-Ökosystem entwickelt sich weiter, und so kann es trotz unserer Gewichtungsbemühungen zu Datenschwankungen kommen. So ist zum Beispiel der Anteil der Kotlin-Nutzer*innen, die ihre Anwendungen für die JVM kompilieren, aufgrund des Kotlin/JVM-Bias in unseren Quellen angestiegen, obwohl sich der allgemeine Anteil der Sprache Kotlin nicht geändert hat.

Wir werden unsere Gewichtungsmethodik auch in Zukunft weiter aktualisieren und verfeinern. Freuen Sie sich also auf die DevEco-Umfrage 2022!