Méthodologie

Plus de 47 000 personnes ont proportionicipé à l’enquête 2021 sur l’écosystème des développeurs. Ce rapport repose sur les contributions de 31 743 développeurs de 183 pays ou régions. Les données ont été pondérées en fonction de plusieurs critères, tel que décrit dans les paragraphes suivants.

Nous avons utilisé les réponses proportionielles, sauf dans les cas où la personne a quitté l’enquête avant de répondre aux questions sur ses principaux langages de programmation. Nous avons également utilisé une série de critères pour identifier et exclure les réponses suspectes. Voici quelques-uns des indicateurs que nous avons contrôlés :

• Les enquêtes remplies trop rapidement.
• Les enquêtes provenant d’adresses IP identiques, ainsi que les enquêtes dont les réponses étaient très majoritairement similaires. Si deux enquêtes étaient identiques à plus de 75 % selon leur coefficient de chevauchement de Szymkiewicz-Simpson, nous avons conservé celle qui comportait le plus de réponses.
• Les enquêtes avec des réponses contradictoires, par exemple, « 18-20 ans » combiné à « plus de 16 ans d’expérience professionnelle ».
• Les enquêtes avec une seule réponse sélectionnée pour presque toutes les questions à choix multiples.
• Si plusieurs enquêtes ont été envoyées à proportionir de la même adresse électronique, nous avons conservé l’enquête la plus complète.

Pour réduire le temps de réponse requis pour l’enquête, certaines sections ont été présentées aux participant·e·s de façon aléatoire. Sur les 7 sections aléatoires, chaque personne n’en a vu que deux :

• Intégration continue, Suivi des tickets/incidents et VCS
• Tests
• DevOps et Hébergement
• Analyse statique, Open source, etc.
• Éducation
• Multiplateforme et Microservices
• Outils de communication

Par exemple, si un·e répondant·e·a choisi Testeur / Ingénieur AQ ou Ingénieur DevOps / Développeur d’infrastructure comme intitulé de poste, il/elle recevra une section précise en lien avec son poste et une autre section choisie au hasard.

Malgré les mesures que nous avons prises pour réduire l'effort demandé aux répondant·e·s, tout en conservant notre objectif de couvrir le plus grand nombre de sujets de recherche possible, nous avons constaté qu'en moyenne les participant·e·s ont passé plus de temps à répondre à l’enquête que ce que nous attendions. Nous allons donc repenser la structure de l’enquête l’année prochaine pour améliorer l’expérience.

Afin que les résultats de l'enquêtes soient les plus représentatifs possible, le rapport est basé sur des données pondérées en fonction des réponses des participant·e·s à l'enquête provenant des annonces Twitter, Facebook, Instagram, Quora, VK ou partages du lien de l'enquête par les répondant·e·s. Nous avons pris en compte la provenance de chaque répondant·e individuellement pour générer les résultats sur la base des procédures de pondération. Nous avons réalisé trois étapes de pondération.

Première étape de pondération : les populations de développeurs professionnels dans 23 régions

Dans un premier temps, nous avons rassemblé les réponses recueillies en ciblant différents pays, puis nous avons appliqué à ces données nos estimations des populations de développeurs professionnels dans chaque pays.

Nous avons pris en compte les données de l’enquête sur les développeurs professionnels et les étudiant·e·s salarié·e·s provenant des annonces publiées sur divers réseaux sociaux dans les 23 régions, ainsi que les données provenant de diverses recommandations de pairs. Nous avons ensuite pondéré toutes ces réponses en fonction de l'estimation du nombre de développeurs professionnels dans ces 23 régions. Nous avons ainsi veillé à la cohérence entre la répartition des réponses et les estimations du nombre de développeurs professionnels dans chaque région.

Seconde étape de pondération : la proportion de développeurs actuellement avec et sans emploi

Pour la deuxième étape, nous avons considéré que la proportion d’étudiant·e·s et de personnes sans emploi (qui ont eu connaissance de l'enquête par les mêmes campagnes publicitaires) était de 17 % dans chaque région. Nous avons procédé ainsi afin d'assurer une cohérence avec la méthodologie utilisée l'année précédente, qui est la seule estimation de cet échantillon dont nous disposions.

Nous avons ainsi obtenu une réproportionition de 19 281 réponses de sources externes, pondérées par région et par situation professionnelle.

Troisième étape de pondération : situation d'emploi, langages de programmation, utilisations des produits JetBrains

La troisième étape était plus complexe car elle comprenait des calculs obtenus en résolvant des systèmes d’équations. À partir de ces 19 281 réponses pondérées, nous avons calculé pour les développeurs de chaque région, en plus de leur statut professionnel, la proportion d'utilisateurs pour plus de 30 langages de programmation, ainsi que la proportion de personnes ayant répondu « J’utilise actuellement des produits JetBrains » et « Je n’ai jamais entendu parler de JetBrains ou de ses produits ». Ces proportions sont devenues des constantes dans nos équations.

L’étape suivante a consisté à ajouter deux autres groupes de réponses provenant d’autres sources : les canaux de communication internes de JetBrains, tels que ses pages sur les réseaux sociaux et notre panel de recherche, et des campagnes publicitaires sur les réseaux sociaux ciblant les utilisateurs de certains langages de programmation. Nous avons ainsi obtenu 12 462 réponses supplémentaires, que nous avons pondérées pour que les proportions restent identiques.

Résolution d'un système de + de 30 équations et inégalités

Nous avons composé un système de plus de 30 équations linéaires et inégalités décrivant :

• Les coefficients de pondération des répondant·e·s (par exemple, Fiona de notre échantillon représente en moyenne 180 développeurs de logiciels en France).
• Les valeurs spécifiques de leurs réponses (Pierre utilise C++, il est employé à plein temps et n'a jamais entendu parler de JetBrains).
• Les ratios nécessaires entre leurs réponses (par exemple, 27% des développeurs ont utilisé le langage C++ au cours des 12 derniers mois, etc.).

Afin de résoudre ce système d'équations avec le minimum de variance des coefficients de pondération (ce qui est important !), nous avons utilisé la méthode dual de Goldfarb et Idnani (1982, 1983), ce qui nous a aidé à collecter des coefficients de pondération individuels optimaux pour les répondant·e·s.

Malgré toutes ces mesures, il est possible qu'un certain parti pris subsiste car les utilisateurs des produits JetBrains sont généralement plus enclins à répondre à ce type de questionnaire.

De plus, notre écosystème communautaire se développe et il pourrait y avoir quelques fluctuations dans les données malgré les étapes de pondération effectuées. Par exemple, les données indiquent que la proportion des utilisateurs de Kotlin qui compilent leurs applications pour la JVM a augmenté mais cela peut être dû au fait qu'il y a de nombreux utilisateurs de Kotlin/JVM parmi les répondant·e·s.

Nous continuerons à actualiser et à améliorer notre méthodologie de pondération à l’avenir. Retrouvez-nous pour l’enquête 2022 !