Methodik

Dies ist ein öffentlicher Bericht, dessen Inhalte bei korrekter Quellenangabe verwendet werden dürfen.

Anzahl der Befragten

Mehr als 35.000 Personen haben die Entwicklungsökosystem-Umfrage 2023 beantwortet. Um sicherzustellen, dass wir mit einer möglichst repräsentativen Stichprobe arbeiten, haben wir die Daten wie im Folgenden beschrieben bereinigt. In der Folge basiert dieser Bericht auf den Antworten von 26.348 Entwickler*innen aus 196 Ländern oder Regionen, darunter ein Antwortbogen, der aus der Antarktis stammen soll. Wie zum Schluss dieses Abschnitts beschrieben, wurden die Daten nach mehreren Kriterien gewichtet.

Datenbereinigungsprozess

Wir haben unvollständige Antwortbögen nur dann verwendet, wenn zumindest die Frage nach der Verwendung von Programmiersprachen beantwortet wurde. Wir haben auch eine Reihe von Kriterien angewendet, um verdächtige Antwortbögen zu identifizieren und auszuschließen:

Antwortbögen, die zu schnell ausgefüllt wurden.
Umfragen von identischen IP-Adressen sowie Umfragen mit weitestgehend ähnlichen Antworten. Wenn zwei Antwortbögen mit derselben IP-Adresse zu mehr als 75% identisch waren, haben wir diejenige behalten, die vollständiger war.
Antwortbögen mit widersprüchlichen Angaben, zum Beispiel „18 bis 20 Jahre alt“ kombiniert mit „mehr als 16 Jahre Berufserfahrung“.
Antwortbögen, in denen bei fast allen Multiple-Choice-Fragen nur eine Antwort gewählt wurde.
Antwortbögen, die mit der gleichen E-Mail-Adresse eingereicht wurden. In solchen Fällen haben wir den Antwortbogen behalten, der am vollständigsten war.

Begrenzung des Beantwortungsaufwands

In diesem Jahr bestand die Umfrage aus 544 Fragen.

Unser Ziel war es, eine Vielzahl von Forschungsbereichen abzudecken. Daher wurden den einzelnen Befragten auf Grundlage ihrer vorherigen Antworten bestimmte Abschnitte angezeigt, während andere übersprungen wurden. Zum Beispiel wurden Fragen zu Go nur Programmierer*innen gestellt, die Go verwenden. Darüber hinaus haben wir Fragen und Abschnitte randomisiert, um die Belastung der einzelnen Befragten weiter zu reduzieren.

Im Durchschnitt brauchten die Teilnehmenden 30 Minuten zum Ausfüllen der Umfrage. Wir haben uns bemüht, den Umfrageprozess zu optimieren und wollen die Teilnahme im nächsten Jahr noch effizienter gestalten.

Unsere Zielgruppe

Wir haben potenzielle Teilnehmer*innen über Twitter- und Facebook-Anzeigen, Instagram, Quora und die JetBrains-eigenen Kommunikationskanäle angesprochen. Außerdem veröffentlichten wir Links in Benutzergruppen und Tech-Community-Kanälen, und wir baten unsere Befragten, die Umfrage im Kollegenkreis zu teilen.

Länder und Regionen

Wir haben in 16 Ländern ausreichend große Stichproben gesammelt: Argentinien, Brasilien, China, Deutschland, Frankreich, Indien, Japan, Kanada, Mexiko, Russland, Spanien, Südkorea, Türkei, Ukraine, Vereinigtes Königreich und Vereinigte Staaten.

Die restlichen Länder wurden sechs Regionen zugeordnet:

Naher Osten, Afrika, Zentralasien
Osteuropa, Balkan und Kaukasus
Benelux und Nordeuropa
Übriges Europa (inkl. Zypern und Israel)
Restliches Südostasien und Ozeanien (inkl. Australien und Neuseeland)
Mittel- und Südamerika (ohne Argentinien, Brasilien und Mexiko)

Für jede geografische Region haben wir mindestens 300 Antwortbögen aus externen Quellen gesammelt, z. B. über Anzeigen oder Empfehlungen von Befragten.

Lokalisierung

Für eine maximale Inklusivität und ein möglichst großes Teilnehmerspektrum war die Umfrage in 10 Sprachen verfügbar: Chinesisch, Deutsch, Englisch, Französisch, Japanisch, Koreanisch, brasilianisches Portugiesisch, Russisch, Spanisch und Türkisch.

Reduzierung der Stichprobenverzerrung

Wir gewichten die Daten entsprechend dem Ursprung der Antwortbögen. Als Basis dienten uns Antwortbögen aus externen Quellen, bei denen die Überrepräsentanz von JetBrains-Benutzer*innen weniger ausgeprägt ist, wie z. B. bezahlte Anzeigen auf Twitter, Facebook, Instagram, Quora und Empfehlungen von Befragten. Bei der Berechnung der Ergebnisse gemäß den Gewichtungsverfahren haben wir die Quelle der einzelnen Befragten berücksichtigt.

Wir haben drei Gewichtungsphasen durchgeführt, um ein möglichst unverzerrtes Bild der weltweiten Entwicklerpopulation zu erhalten.

Phase 1: Gewichtung gemäß den Populationen von professionellen Entwickler*innen den einzelnen Regionen

In der ersten Phase erfassten wir die Antworten, die durch das Länder-Targeting gesammelt wurden. Auf diese Daten wendeten wir unsere Schätzungen zur Anzahl der Berufsentwickler*innen in den einzelnen Ländern an.

Am Anfang standen die Umfragedaten von Berufsentwickler*innen und berufstätigen Studierenden, die über Werbeanzeigen in verschiedenen sozialen Netzwerken in den 22 Regionen zu uns weitergeleitet wurden, sowie die Daten von Befragten, die über verschiedentliche Weiterempfehlungen zur Umfrage kamen. Zwar haben wir die Umfrage in Russland und Ukraine nicht beworben, wir haben jedoch Daten aus beiden Ländern in den Bericht aufgenommen, indem wir Näherungswerte auf Grundlage der Daten aus 2021 entsprechend gewichtet haben. Diese Daten wurden dann entsprechend der geschätzten Entwicklerpopulation in den 22 Regionen gewichtet. Dadurch wurde sichergestellt, dass die Verteilung der Antwortbögen der geschätzten Populationsgröße der Berufsentwickler*innen in den einzelnen Regionen entsprach.

Phase 2: Anteil der derzeit beschäftigten und arbeitslosen Entwickler*innen

In der zweiten Phase normierten wir den Anteil der Studierenden und Erwerbslosen in jedem Land auf 17%. Diese Vorgehensweise entspricht der Methodik des Vorjahres, da dies die einzige verfügbare Schätzung des entsprechenden Bevölkerungsanteils ist.

An diesem Punkt hatten wir eine Verteilung von Antworten aus externen Quellen, gewichtet nach Region und Erwerbsstatus.

Phase 3: Erwerbsstatus, Programmiersprachen und Nutzung von JetBrains-Produkten

Die dritte Phase war relativ komplex und basierte auf dem Lösen von Gleichungssystemen. Ausgehend von diesen gewichteten Antwortbögen berechneten wir für die Entwickler*innen in jeder Region neben ihrem Erwerbsstatus die Anteile für jede der über 30 Programmiersprachen sowie die Anteile der Antworten „Ich verwende aktuell JetBrains-Produkte“ und „Ich habe noch nie von JetBrains oder den Produkten des Unternehmens gehört“. Diese Anteile übernahmen wir als Konstanten in unsere Gleichungen.

Der nächste Schritt bestand darin, zwei weitere Gruppen von Antwortbögen aus anderen Quellen hinzuzufügen: JetBrains-eigene Kommunikationskanäle, zum Beispiel JetBrains-Accounts in sozialen Medien und unser Marktforschungspanel, sowie Werbekampagnen in sozialen Netzwerken, die sich an die Nutzer*innen bestimmter Programmiersprachen richteten.

Lösen des linearen Gleichungs- und Ungleichungssystems

Wir haben ein System von mehr als 30 linearen Gleichungen und Ungleichungen zusammengestellt, um Folgendes zu beschreiben:

Die Gewichtungskoeffizienten der Befragten (als hypothetisches Beispiel repräsentiert Fiona aus unserer Stichprobe durchschnittlich 180 Softwareentwickler*innen aus Frankreich).
Die konkreten Antworten (z. B. Pierre nutzt C++, arbeitet in Vollzeit und hat noch nie von JetBrains gehört).
Die erforderlichen Relationen zwischen ihren Antworten (z. B. 27% der Entwickler*innen haben in den letzten 12 Monaten C++ verwendet, usw.).

Um dieses Gleichungssystem mit einer minimalen Varianz der Gewichtungskoeffizienten (wichtig!) zu lösen, verwendeten wir die duale Methode von Goldfarb und Idnani (1982, 1983), mit deren Hilfe wir optimale individuelle Gewichtungskoeffizienten für die insgesamt 26.348 Befragten ermitteln konnten.

Restverzerrung

Trotz dieser Maßnahmen ist mit gewissen Verzerrungen zu rechnen, da JetBrains-Anwender*innen im Durchschnitt eher bereit sein dürften, die Umfrage zu beantworten.

So sehr wir uns auch bemühen, die Verbreitung der Umfrage zu kontrollieren und sinnvolle Gewichtungen vorzunehmen, das Entwicklungsökosystem und die Communities entwickeln sich ständig weiter, und die Möglichkeit unerwarteter Datenschwankungen kann nicht vollständig ausgeschlossen werden.

Wir werden unsere Methodik auch in Zukunft weiter aktualisieren und verbessern. Es gibt also allen Grund, die Entwicklungsökosystem-Umfrage 2024 mit Spannung zu erwarten!

Zurück