Méthodologie

Il s'agit d'un rapport public et son contenu peut être utilisé à condition que la source soit dûment mentionnée.

Le nombre de répondants

Plus de 35 000 personnes ont répondu à l'Enquête sur l'Écosystème des Développeurs 2023. Pour nous assurer de travailler avec l'échantillon le plus représentatif possible, nous avons nettoyé les données en utilisant le processus décrit ci-dessous. En conséquence, le rapport est basé sur les contributions de 26 348 développeurs de 196 pays et régions, dont l'une proviendrait de l'Antarctique. Les données ont été pondérées en fontction de plusieurs critères, que nous décrivons dans la dernière partie de cette section.

Processus de nettoyage des données

Nous avons analysé les questionnaires incomplets uniquement lorsque la question sur l'utilisation des langages de programmation avait reçu une réponse. De plus, nous avons utilisé un ensemble de critères spécifiques pour identifier et exclure les réponses suspectes, notamment dans les cas suivants :

Les questionnaires pour lesquels le temps de réponse était trop rapide.
Les questionnaires provenant d'adresses IP identiques et ceux dont les réponses étaient beaucoup trop similaires. Si deux questionnaires avec la même adresse IP contenaient des réponses identiques à plus de 75 %, nous avons conservé celui qui était le plus complet.
Les réponses contradictoires, par exemple une personne déclarant être dans la tranche d'âge « 18-20 ans » et avoir « plus de 16 ans d'expérience professionnelle ».
Les enquêtes avec une seule réponse sélectionnée pour quasiment toutes les questions à choix multiples.
Les questionnaires envoyés à partir de la même adresse e-mail. Dans ce cas, nous avons conservé le questionnaire le plus complet.

Simplification de la contribution à l'enquête

L'enquête de cette année comprenait 544 questions.

Nous présentons certaines questions aux participants en fonction des réponses qu'ils ont données précédemment. Par exemple, les questions concernant Go ne sont présentées qu'aux développeurs ayant en premier lieu déclaré utiliser Go. De plus, afin de réduire le temps requis pour répondre au questionnaire, les questions de certaines sections sont posées de façon aléatoire.

En moyenne, les participants ont consacré 30 minutes à répondre au questionnaire cette année. Nous allons poursuivre nos efforts afin de simplifier encore le processus et d'améliorer l'expérience pour l'enquête de l'année prochaine.

Ciblage de notre audience

Nous avons diffusé des messages et publicités sur Twitter, Facebook, Instagram, Quora et les canaux de communication de JetBrains. Nous avons également publié des liens à destination de groupes d'utilisateurs et communautés et demandé aux participants de partager l'enquête avec leurs pairs.

Pays et régions

Nous avons recueilli un nombre de réponses suffisamment représentatif pour 16 pays : Allemagne, Argentine, Brésil, Canada, Chine, Corée du Sud, Espagne, États-Unis, France, Inde, Japon, Mexique, Royaume-Uni, Russie, Turquie et Ukraine.

Les pays restants ont été répartis entre six régions :

Moyen-Orient, Afrique, Asie centrale
Europe de l'Est, Balkans et Caucase
Benelux et Europe du Nord
Reste de l'Europe (y compris Chypre et Israël)
Autres pays d'Asie du Sud-Est et Océanie (y compris l'Australie et la Nouvelle-Zélande)
Amérique centrale et Amérique du Sud (à l'exception de l'Argentine, du Brésil et du Mexique)

Pour chaque région géographique, nous avons collecté les réponses d'au moins 300 répondants, qui ont eu accès au questionnaire via une publicité en ligne ou le partage du lien de l'enquête par l'une de leurs connaissances.

Localisation

Pour garantir un maximum d'inclusivité et s'adapter à une grande diversité de participants, l'enquête était disponible en 10 langues : allemand, anglais, chinois, coréen, espagnol, français, japonais, portugais brésilien, russe, et turc.

Optimisation du niveau de représentativité dans l'échantillonnage

Nous avons pondéré les données en fonction de la provenance des réponses. Nous avons utilisé comme base les réponses provenant de sources externes, telles que les publicités sur Twitter, Facebook, Instagram, Quora, et les partages de liens de l'enquête, moins biaisées que celles des utilisateurs de produits JetBrains. Nous avons pris en compte la provenance de chaque participant individuellement pour générer des résultats basés sur les procédures de pondération.

Nous effectuons trois étapes de pondération afin d'obtenir une image de la communauté mondiale des développeurs aussi fidèle à la réalité que possible.

Première étape : Ajustement pour les populations de développeurs professionnels dans chaque région

Dans un premier temps, nous avons rassemblé les réponses recueillies en ciblant différents pays, puis nous avons appliqué à ces données nos estimations des populations de développeurs professionnels dans chaque pays.

Tout d'abord, nous avons recueilli les données provenant des réponses de développeurs professionnels et d'étudiants ayant eu accès à l'enquête via l'une des publicités en ligne ayant été diffusées dans 22 régions ou ayant reçu le lien de l'enquête de la part de l'une de leurs connaissances. Bien que nous n'ayons pas fait la promotion de l'enquête en Ukraine ni en Russie, nous avons inclus ces deux pays dans le rapport en utilisant une approximation des données collectées en 2021 pour les pondérer en conséquence. Nous avons ensuite pondéré les réponses en fonction de nos estimations du nombre de développeurs professionnels dans les 22 régions. Notre objectif était de garantir que la répartition des réponses soit cohérente par rapport au nombre de développeurs professionnels dans chaque pays.

Deuxième étape : Proportions de développeurs actuellement employés et au chômage

Pour la deuxième étape, nous avons considéré que la proportion d'étudiants et de personnes sans emploi était de 17 % dans chaque pays. Nous avons procédé ainsi afin d'assurer une cohérence avec la méthodologie utilisée l'année précédente, qui était la seule estimation de cet échantillon dont nous disposions.

À ce stade, nous disposions d'un échantillon de réponses provenant de sources externes pondérées à la fois par région et par situation professionnelle.

Troisième étape : Situation professionnelle, langages de programmation et utilisation des produits JetBrains

La troisièmea été plutôt complexe car elle impliquait des calculs obtenus en résolvant des systèmes d'équations. Nous avons pris les réponses pondérées et, pour les développeurs de chaque région, en plus de leur situation professionnelle, nous avons calculé les parts de chacun des plus de 30 langages de programmation et la proportion des personnes ayant répondu « J'utilise actuellement des produits JetBrains » et « Je n'ai jamais entendu parler de JetBrains ou de ses produits ». Ces parts sont devenues des constantes dans nos équations.

L'étape suivante a consisté dans l'ajout de deux autres groupes de réponses provenant d'autres sources : les canaux de communication internes de JetBrains, tels que nos comptes sur les réseaux sociaux et notre panel de recherche, ainsi que des campagnes publicitaires sur les réseaux sociaux ciblant les utilisateurs de certains langages de programmation.

Résolution du système d'équations et d'inégalités linéaires

Nous avons composé un système de plus de 30 équations linéaires et inégalités décrivant :

Les coefficients de pondération des répondants (supposons par exemple que dans notre échantillon, Fiona représente en moyenne 180 développeurs logiciels en France).
Les valeurs spécifiques de leurs réponses (par exemple, Pierre utilise C++, il est employé à plein temps et n'a jamais entendu parler de JetBrains).
Les ratios nécessaires entre leurs réponses (par exemple, 27 % des développeurs ont utilisé le langage C++ au cours des 12 derniers mois, etc.).

Afin de résoudre ce système d’équations en minimisant la variance des coefficients de pondération (ce qui est important !), nous avons utilisé la méthode duale de Goldfarb et Idnani (1982, 1983). Cela nous a permis d'obtenir des coefficients de pondération individuels optimaux pour les 26 348 répondants.

Persistance de biais de représentativité

Malgré ces mesures, certains biais peuvent persister, les utilisateurs de produits JetBrains étant généralement plus disposés à participer à l'enquête.

Bien que nous fassions tout notre possible pour contrôler la distribution de l'enquête et appliquer une pondération intelligente, les communautés et l'écosystème du développement évoluent constamment et la possibilité de fluctuations inattendues des données ne peut être complètement éliminée.

Nous continuerons à actualiser et à améliorer notre méthodologie à l'avenir. Retrouvez-nous pour l'Enquête 2024 sur l'Écosystème des Développeurs !