Méthodologie

Il s'agit d'un rapport public et son contenu peut être utilisé à condition que la source soit dûment mentionnée.

Le nombre de répondants

Plus de 38 000 personnes ont participé à l'Enquête 2022 sur l'Écosystème des Développeurs. Pour nous assurer de travailler avec l'échantillon le plus représentatif possible, nous avons nettoyé les données selon le processus décrit ci-dessous. Par conséquent, le rapport de l'enquête repose sur les contributions de 29 269 développeurs de 187 pays et régions, dont deux réponses provenant de l'Antarctique. Les données ont été pondérées en fonction de plusieurs critères, comme décrit dans les dernières parties de cette section.

Processus de nettoyage des données

Nous avons utilisé les réponses partielles, sauf dans le cas où la personne avait quitté le questionnaire avant de répondre aux questions sur ses principaux langages de programmation. Nous avons également utilisé une série de critères permettant d'identifier et d'exclure les réponses suspectes. Voici quelques-uns des indicateurs que nous avons contrôlés :

Les questionnaires pour lesquels le temps de réponse était trop rapide.
Les questionnaires provenant d'adresses IP identiques et ceux dont les réponses étaient beaucoup trop similaires. Si deux questionnaires avec la même adresse IP contenaient des réponses identiques à plus de 75 %, nous avons conservé celui qui était le plus complet.
Les réponses contradictoires, par exemple une personne déclarant être dans la tranche d'âge « 18-20 ans » et avoir « plus de 16 ans d'expérience professionnelle ».
Les enquêtes avec une seule réponse sélectionnée pour quasiment toutes les questions à choix multiples.
Les questionnaires envoyés à partir de la même adresse e-mail. Dans ce cas, nous avons conservé le questionnaire le plus complet.

Simplification de la contribution à l'enquête

Cette année, notre enquête comportait 527 questions. Bien que notre objectif était de couvrir le plus grand nombre de sujets de recherche possible, et malgré la logique appliquée, nous avons estimé qu'elle était encore trop longue.

Pour raccourcir l'enquête et réduire le temps nécessaire pour y répondre, nous avons pris des mesures pour répartir certaines des questions de façon aléatoire :

Nous avons réparti aléatoirement 8 sections. Chaque participant n'a vu que 2 de ces sections :
- Intégration continue, suivi des tickets et VCS
- DevOps et hébergement
- Analyse statique, open source, etc.
- Éducation
- Multiplateforme et microservices
- Outils de communication
- Sécurité
- Développement collaboratif et à distance
Nous avons affiché de façon aléatoire les sections concernant les langages les plus populaires, tels que Java, JavaScript, SQL, Python et GraphQL, pour 50 % des participants qualifiés.
Nous avons également masqué aléatoirement les questions sans relation logique ou dépendance.

En dépit des mesures que nous avons prises pour réduire le temps de réponse à l'enquête, les participants ont passé de 30 à 40 minutes en moyenne à y répondre, ce qui nous semble encore trop long. Nous réfléchissons déjà aux moyens d'améliorer l'expérience pour l'année prochaine.

Ciblage de notre audience

Pour promouvoir cette enquête, nous avons eu recours à des annonces sur Twitter, Facebook, Instagram, Quora et différents canaux de communication propres à JetBrains. Nous avons également publié des liens dans certains groupes d'utilisateurs et canaux de la communauté technologique, et avons demandé aux répondants de partager le lien de l'enquête avec leurs pairs.

Pays et régions

Nous avons recueilli des échantillons suffisamment importants dans 14 pays : Allemagne, Argentine, Brésil, Canada, Chine, Corée du Sud, Espagne, États-Unis, France, Inde, Japon, Mexique, Royaume-Uni et Turquie.

Cette année, nous n'avons pas utilisé de publicités payantes en vue de recueillir des réponses provenant de Biélorussie, de Russie et d’Ukraine. Les réponses de Biélorussie ont été combinées avec celles d’Europe de l’Est, des Balkans et du Caucase.

Les pays restants ont été répartis entre 6 régions :

Afrique, Moyen-Orient et Asie centrale
Europe de l'Est, Balkans et Caucase
Europe du Nord et Benelux
Autres pays européens
Asie du Sud-Est et Océanie, Australie et Nouvelle-Zélande
Amérique centrale et du Sud

Pour chaque région géographique (à l'exception du Canada et du Japon), nous avons recueilli au moins 300 réponses provenant de sources externes, telles que des publicités.

Localisation

Pour minimiser tout biais potentiel envers les personnes non anglophones, l'enquête était également disponible dans 8 autres langues : l'allemand, le chinois, le coréen, l'espagnol, le français, le japonais, le portugais brésilien et le turc.

Optimisation du niveau de représentativité dans l'échantillonnage

Le rapport repose sur les données pondérées en fonction de la provenance des réponses. Nous avons pris comme base les réponses recueillies q partir de sources externes moins centrées sur les utilisateurs de JetBrains, telles que des publicités payantes sur Twitter, Facebook, Instagram, Quora, et les repondants provenant de référents. Nous avons pris en compte la provenance de chaque participant individuellement pour générer des résultats basés sur les procédures de pondération.

Nous effectuons jusqu'à trois étapes de pondération pour obtenir une cartographie la plus impartiale possible de la population mondiale des développeurs.

Première étape de pondération : ajustement en fonction des populations de développeurs professionnels dans chaque région

Dans un premier temps, nous avons rassemblé les réponses recueillies en ciblant différents pays, puis nous avons appliqué à ces données nos estimations des populations de développeurs professionnels dans chaque pays.

Nous avons d'abord pris les données de l'enquête sur les développeurs professionnels et les étudiants salariés obtenues via les publicités aue nous avons diffusées sur divers réseaux sociaux dans les 20 régions, ainsi que les données provenant de recommandations de pairs. Bien que nous n'ayons pas collecté de données provenant de Russie et d'Ukraine cette année, nous avons inclus ces deux pays dans le rapport en effectuant une pondération sur la base des données collectées l'année dernière. En effet, ces deux pays comptant un nombre important de développeurs, nous avons estimé que leur exclusion du rapport pourrait avoir des résultats imprévisibles.

Nous avons ensuite pondéré toutes ces réponses en fonction de l'estimation du nombre de développeurs professionnels dans ces 22 régions, afin de nous assurer que la répartition des réponses corresponde au nombre de développeurs professionnels dans chaque pays.

Seconde étape de pondération : la proportion de développeurs actuellement avec et sans emploi

Pour la deuxième étape, nous avons considéré que la proportion d'étudiants et de personnes sans emploi était de 17 % dans chaque pays. Nous avons procédé ainsi afin d'assurer une cohérence avec la méthodologie utilisée l'année précédente, qui était la seule estimation de cet échantillon dont nous disposions.

À ce stade, nous disposions de 14 330 réponses provenant de sources externes, pondérées à la fois par région géographique et situation professionnelle.

Troisième étape de pondération : situation professionnelle, langages de programmation et utilisations des produits JetBrains

La troisième étape était plutôt complexe, car elle incluait des calculs obtenus par la résolution de systèmes d’équations. Nous avons pris ces 14 330 réponses pondérées et, pour les développeurs de chaque région, en plus de leur statut professionnel, nous avons calculé leur répartition pour chacun des +30 langages de programmation, ainsi que la proportion de personnes ayant répondu « J’utilise actuellement des produits JetBrains » et celle des personnes ayant répondu « Je n’ai jamais entendu parler de JetBrains ou de ses produits ». Ces proportions sont devenues des constantes dans nos équations.

L'étape suivante a consisté à ajouter deux autres groupes de réponses provenant d'autres sources : les canaux de communication internes de JetBrains, tels que ses comptes sur les réseaux sociaux et notre panel de recherche, et des campagnes publicitaires sur les réseaux sociaux ciblant les utilisateurs de certains langages de programmation. Nous avons ainsi obtenu 14 939 réponses supplémentaires, que nous avons pondérées pour que les proportions restent identiques.

Résolution d'un système de plus de 30 équations linéaires et inégalités

Nous avons composé un système de plus de 30 équations linéaires et inégalités décrivant :

Les coefficients de pondération des répondants (par exemple, dans notre échantillon, Fiona représente en moyenne 180 développeurs en France).
Les valeurs spécifiques de leurs réponses (par exemple, Pierre utilise C++, il est employé à plein temps et n'a jamais entendu parler de JetBrains).
Les ratios nécessaires entre leurs réponses (par exemple, 27 % des développeurs ont utilisé le langage C++ au cours des 12 derniers mois, etc.).

Afin de résoudre ce système d'équations tout en assurant une variance minimum des coefficients de pondération (ce qui est important !), nous avons utilisé la méthode duale de Goldfarb et Idnani (1982, 1983), qui nous a permis d'assembler les coefficients de pondération individuels optimaux pour les 29 269 répondants.

Persistance de biais de représentativité

Malgré toutes ces mesures, il est possible qu'un certain parti pris subsiste, car les utilisateurs des produits JetBrains sont généralement plus enclins à répondre à ce type de questionnaire.

De plus, l'écosystème de notre communauté évolue et les données peuvent fluctuer en dépit des étapes de pondération et de nos efforts. En 2021, nous avons notamment constaté une augmentation substantielle du nombre de développeurs PHP (plus précisément Laravel) interrogés. Cela venait du fait que le lien de l'enquête a été largement partagé dans des communautés PHP et le lien vers notre article de blog a été publié par le compte Twitter de Laravel, ce qui a amené une part importante de développeurs PHP et Laravel à répondre à notre enquête. Nous allons donc améliorer nos algorithmes de pondération afin de compenser de telles situations.

Nous continuerons à actualiser et à améliorer notre méthodologie de pondération à l'avenir. Retrouvez-nous pour l'enquête 2023 !