Méthodologie

Plus de 34 000 personnes ont participé à notre enquête sur l'Écosystème des développeurs 2020. Ce rapport est basé sur les contributions de 19 696 développeurs de 18 pays, pondérées par plusieurs critères; comme décrit dans les paragraphes suivants. Chaque graphique du rapport a été élaboré à partir des données issues de 300 réponses pour chaque point.

Afin de raccourcir le questionnaire et de simplifier la contribution l’enquête pour les répondants, certaines sections ont été présentées dans un ordre différent à différentes personnes de manière aléatoire. Parmi les 6 six sections aléatoires, chaque répondant n'en a vu que deux. Ces 6 sections aléatoires étaient :

1. Intégration continue, Suivi des tickets/incidents et VCS
2. Tests
3. DevOps et Hébergement
4. Analyse statique, Open source, etc.
5. Éducation
6. Multiplateforme et Microservices

Par exemple, si une personne interrogée a sélectionné Testeur / Ingénieur AQ ou Ingenieur DevOps / Développeur Infrastructure comme étant sa fonction, elle se voyait présenter une section précisément en lien avec sa fonction et une autre section sélectionnée au hasard.

Pour inviter des répondants potentiels à participer à notre enquête, nous avons utilisé des publicités sur Twitter, Facebook, Instagram, Quora, Vkontakte, Codefund et Baidu, ainsi que les propres canaux de communications de JetBrains.

Dans nos campagnes publicitaires, nous avons utilisé deux types de ciblage. La premier concernait des pays spécifiques, tandis que le second visait des langages de programmation rarement utilisés afin de réduire la variance dans les sections correspondant à ces langages de programmation. Nous avons ciblé Ruby, Scala, Rust, Swift et Objective-C. Nous avons également demandé aux répondants de partager le lien de l'enquête avec leurs pairs.

Afin de minimiser les erreurs, le rapport est basé sur les données pondérées en fonction des réponses provenant des publicités Twitter, Facebook, Instagram, Quora, Vkontakte, Codefund, Baidu et des recommandations des répondants.

Nous avons pris en compte la source de chaque répondant individuellement pour générer les résultats sur la base des procédures de pondération. Nous avons procédé à trois étapes de pondération pour obtenir une représentation moins biaisée de la population mondiale des développeurs.

Première étape de pondération : population de développeurs professionnels dans 18 pays

Dans un premier temps, nous avons rassemblé les réponses recueillies en ciblant différents pays, puis nous avons appliqué à ces données nos estimations des populations de développeurs professionnels dans chaque pays.

Nous avons d'abord recueilli les données de l'enquête sur les développeurs professionnels et les étudiants en activité provenant d'annonces publiées sur divers réseaux sociaux dans les 18 pays ciblés, ainsi que les données provenant de diverses recommandations de pairs. Ensuite, nous avons pondéré toutes ces réponses en fonction de nos estimations des populations de développeurs professionnels dans ces 18 pays. Cela permet de s'assurer que la distribution des réponses correspond à nos estimations du nombre de développeurs professionnels dans chaque pays.

Seconde étape de pondération : la proportion de développeurs actuellement avec et sans emploi

Dans un deuxième temps, nous avons fixé la proportion d'étudiants et de personnes sans emploi interrogées (provenant des mêmes campagnes publicitaires externes) à 17% dans chaque pays. Nous avons fait cela pour maintenir la cohérence avec la méthodologie de l'année précédente, car il s'agit de la seule estimation de leur population dont nous disposons.

En conséquence, nous avons obtenu 10 116 réponses provenant de sources externes, pondérées par pays et par situation professionnelle.

Troisième étape de pondération : situation d'emploi, langages de programmation, utilisations des produits JetBrains

La troisième étape est plus élaborée, avec des calculs obtenus par la résolution de systèmes d'équations. Nous avons utilisé ces 10 116 réponses pondérées. Pour les développeurs de chaque pays, outre leur statut professionnel, nous avons calculé les parts pour chacun des langages de programmation, ainsi que les parts pour ceux qui ont répondu "J'utilise actuellement les produits JetBrains" et "Je n’ai jamais entendu parler de JetBrains ni de ses produits". Ces parts sont devenues des constantes dans nos équations.

L'étape suivante a consisté à ajouter deux autres groupes de réponses provenant d'autres sources : les canaux de communication internes de JetBrains, tels que nos comptes sur les réseaux sociaux et notre panel de recherche, et les campagnes publicitaires sur les réseaux sociaux ciblant les utilisateurs de certains langages de programmation. Cela a apporté 9 580 réponses supplémentaires, que nous avons pondérées pour maintenir toutes ces parts identiques.

Résolution d'un système de + de 30 équations et inégalités

Nous avons composé un système de plus de 30 équations linéaires et inégalités décrivant :

• Les coefficients de pondération des répondants (par exemple, Pierre dans notre échantillon représente en moyenne 180 développeurs de logiciels français).
• Les valeurs spécifiques de leurs réponses (Pierre utilise C++, il est employé à plein temps et n'a jamais entendu parler de JetBrains).
• Les ratios nécessaires entre leurs réponses (par exemple, 27% des développeurs ont utilisé le langage C++ au cours des 12 derniers mois, etc.).

Afin de résoudre ce système d'équations avec le minimum de variance des coefficients de pondération (ce qui est important !), nous avons utilisé la méthode dual de Goldfarb et Idnani (1982, 1983), ce qui nous a aidé à rassembler les coefficients de pondération individuels optimaux pour les répondants.

Malgré toutes ces mesures, des partis pris sont possibles car les utilisateurs des produits JetBrains sont généralement plus enclins à participer à ce type de questionnaire.

De plus, notre écosystème communautaire se développe et il pourrait y avoir quelques fluctuations dans les données malgré les étapes de pondération et nos efforts. Par exemple, la part des utilisateurs de Kotlin qui compilent leurs applications pour la JVM a augmenté dans nos données en raison de la partialité de Kotlin/JVM dans nos sources, bien qu'il n'y ait eu aucun changement dans la part globale du langage Kotlin.

Nous continuerons à actualiser et à améliorer notre méthode de pondération. Vous verrez l’évolution dans notre enquête DevEco 2021 !