Metodología

Más de 47 000 personas han participado en la encuesta Developer Ecosystem 2021. Este informe se basa en las contribuciones de 31 743 desarrolladores de 183 países o regiones. Los datos se han ponderado en función de diferentes criterios, que se describen en los párrafos siguientes.

Hemos utilizado respuestas parciales, excepto en los casos en que la persona encuestada ha abandonado la encuesta antes de responder a las preguntas sobre sus principales lenguajes de programación. También hemos utilizado un conjunto de criterios para identificar y excluir las respuestas sospechosas. Estos son algunos de los indicadores que comprobamos:

• Encuestas que se han respondido demasiado rápido.
• Encuestas realizadas desde direcciones IP idénticas y encuestas con respuestas abrumadoramente similares. Si dos respuestas han sido en más de un 75 %, según su coeficiente de solapamiento de Szymkiewicz-Simpson, nos hemos quedado con la que tiene más respuestas.
• Encuestas con respuestas contradictorias; por ejemplo, "18-20 años" combinado con "más de 16 años de experiencia profesional".
• Encuestas con una sola opción elegida para casi todas las preguntas de opción múltiple.
• Si se han enviado varias encuestas desde la misma dirección de correo electrónico, nos hemos quedado con la más completa.

Para acortar la encuesta y reducir la carga de respuestas, algunas secciones se han mostrado a las personas encuestadas de forma aleatoria. Hay siete secciones aleatorias, de las cuales cada una de ellas solo ha visto dos:

• Integración continua, seguimiento de incidencias y VCS
• Testeo
• DevOps y alojamiento
• Análisis estático, código abierto, etc.
• Formación
• Multiplatafroma y microservicios
• Herramientas de comunicación

Por ejemplo, si una persona encuestada seleccionó Tester / Ingeniero de control de calidad o ingeniero DevOps / Desarrollador de infraestructuras como pesto de trabajo, se le presentó una sección definida en función de su cargo y otra sección seleccionada al azar.

A pesar de nuestras medidas para reducir el trabajo que se exige a las personas encuestadas sin dejar de lado nuestro objetivo de abarcar el mayor número posible de temas de investigación, hemos comprobado que las personas encuestadas dedican por término medio más tiempo a realizar la encuesta de lo que se consideraría razonable. El año que viene revisaremos la estructura de la encuesta para intentar mejorar la experiencia.

Para minimizar el sesgo, el informe se basa en los datos ponderados con respecto a las respuestas procedentes de los anuncios de Twitter, los anuncios de Facebook, Instagram, Quora, VK y las referencias de las personas encuestadas. Hemos tenido en cuenta la fuente de cada persona encuestada de forma individual para generar los resultados basados en los procedimientos de ponderación. Hemos realizado tres etapas de ponderación para obtener una imagen menos sesgada de la población mundial de desarrolladores.

Primera etapa de ponderación: poblaciones de desarrolladores profesionales en 23 regiones

En la primera etapa, reunimos las respuestas recopiladas orientando a diferentes países y, a continuación, aplicamos a estos datos nuestros cálculos de la población de desarrolladores profesionales en cada país.

Hemos tomado los datos de la encuesta sobre desarrolladores profesionales y estudiantes que trabajan a partir de los anuncios publicados en diferentes redes sociales en las 23 regiones que participan en el estudio, así como los datos de los usuarios referidos. A continuación, hemos ponderado todas estas respuestas según nuestra población estimada de desarrolladores profesionales en esas 23 regiones. Esto nos ha permitido garantizar que la distribución de las respuestas corresponde a nuestras estimaciones del número de desarrolladores profesionales en cada país.

Segunda etapa de ponderación: las proporciones de desarrolladores actualmente empleados y desempleados

En una segunda etapa, hemos fijado la proporción de estudiantes y personas encuestadas en paro (que han llegado a nuestra encuesta a través de las mismas campañas externas de publicidad) en un 17 % para todos los países. De este modo, hemos mantenido la coherencia con la metodología del año anterior, ya que se trata de la única estimación de sus poblaciones de la que disponemos.

Como resultado, hemos obtenido 19 281 respuestas de fuentes externas, ponderadas por país y situación profesional.

Tercera etapa de ponderación: situación laboral, lenguajes de programación, utilización de productos JetBrains

La tercera etapa era bastante elaborada, ya que incluye cálculos obtenidos resolviendo sistemas de ecuaciones. Hemos tomado esas 19 281 respuestas ponderadas. Para los desarrolladores de cada región, además de su situación laboral, hemos calculado el porcentaje de cada uno de los más de 30 lenguajes de programación, además de los porcentajes de quienes han respondido “Actualmente utilizo productos de JetBrains” y “Nunca he oído hablar de JetBrains ni de sus productos”. Esos porcentajes se han convertido en constantes en nuestras ecuaciones.

El siguiente paso ha sido fue añadir dos grupos más de respuestas procedentes de otras fuentes: los canales de comunicación interna de JetBrains, como las cuentas de redes sociales de JetBrains y nuestro panel de investigación, y las campañas publicitarias en redes sociales dirigidas a usuarios de determinados lenguajes de programación. Se han obtenido 12 462 respuestas más, que se han ponderado para mantener la igualdad entre todas las cuotas.

Resolviendo el sistema de más de 30 ecuaciones lineales y desigualdades

Hemos compuesto un sistema de +30 ecuaciones lineales y desigualdades que describían:

• Los coeficientes de ponderación para las personas encuestadas (por ejemplo, Fiona en nuestra muestra representa a una media de 180 desarrolladores de software de Francia).
• Los valores específicos de sus respuestas (Pierre utiliza C++, trabaja a tiempo completo y nunca ha oído hablar de JetBrains).
• Los ratios necesarios entre sus respuestas (por ejemplo, un 27 % de los desarrolladores han usado C++ en los últimos 12 meses, etc.).

Para resolver este sistema de ecuaciones con la mínima varianza de coeficientes de ponderación (¡lo cual es importante!), empleamos el método dual de Goldfarb e Idnani (1982, 1983), que nos ayudó a cotejar los coeficientes de ponderación individuales óptimos para los encuestados.

A pesar de estas medidas, es probable que exista cierto sesgo, puesto que los usuarios de JetBrains, en general, podrían estar más dispuestos a realizar la encuesta.

Además, nuestro ecosistema de la comunidad se está desarrollando, y podría haber algunas fluctuaciones a pesar de nuestros esfuerzos y rondas de ponderación. Por ejemplo, el porcentaje de usuarios de Kotlin que compilan sus aplicaciones para JVM ha aumentado según nuestros datos debido al sesgo de Kotlin/JVM en nuestras fuentes, aunque no ha habido cambios en el porcentaje total del lenguaje Kotlin.

Continuaremos actualizando y mejorando nuestra metodología de ponderación en el futuro. ¡Podrá ver el resultado en la encuesta Developer Ecosystem de 2022!