Metodología

Este informe es público y su contenido puede utilizarse siempre que se cite correctamente la fuente.

El número de personas encuestadas

Más de 38 000 personas participaron en la Encuesta sobre el ecosistema de los desarrolladores 2022. Para asegurarnos de trabajar con la muestra más representativa posible, depuramos los datos mediante el proceso que se describe a continuación. Como resultado, el informe se basa en las aportaciones de 29 269 desarrolladores de 187 países y regiones, incluidas dos respuestas procedentes de la Antártida. Los datos se han ponderado según varios criterios, como se describe en las últimas partes de esta sección.

Proceso de limpieza de datos

Hemos utilizado respuestas parciales, excepto en los casos en que la persona encuestada ha abandonado la encuesta antes de responder a las preguntas sobre sus principales lenguajes de programación. También hemos utilizado un conjunto de criterios para identificar y excluir las respuestas sospechosas. Estos son algunos de los indicadores que comprobamos:

Encuestas que se han respondido demasiado rápido.
Encuestas procedentes de direcciones IP idénticas, así como encuestas con respuestas abrumadoramente similares. Si dos encuestas con la misma dirección IP eran idénticas en más de un 75 %, nos quedamos con la más completa.
Encuestas con respuestas contradictorias; por ejemplo, «18-20 años» combinada con «más de 16 años de experiencia profesional».
Encuestas con una sola opción elegida para casi todas las preguntas de opción múltiple.
Encuestas enviadas desde la misma dirección de correo electrónico. En estos casos, nos quedamos con la encuesta más completa.

Reducción de la carga de respuestas

Este año la encuesta constaba de 527 preguntas. Aunque nuestro objetivo era abarcar el mayor número posible de temas de investigación, y a pesar de la lógica aplicada, seguimos considerando que era demasiado larga.

Para acortar la encuesta y reducir su carga de respuestas, tomamos medidas para aleatorizar algunas de las preguntas:

Se asignaron al azar 8 secciones, de las cuales cada encuestado vio solo 2:
- Integración continua, seguimiento de incidencias y VCS
- DevOps y alojamiento
- Análisis estático, código abierto, etc.
- Educación
- Multiplataforma y microservicios
- Herramientas de comunicación
- Seguridad
- Desarrollo a distancia y colaborativo
Mostramos aleatoriamente las secciones sobre los lenguajes más populares, como Java, JavaScript, SQL, Python y GraphQL, al 50 % de los encuestados cualificados.
También ocultamos al azar las preguntas que no tenían ninguna lógica o dependencia.

A pesar de nuestras medidas para reducir el trabajo que requiere completar la encuesta, los encuestados tardaron una media de 30-40 minutos en rellenarla, lo que nos sigue pareciendo demasiado. Ya estamos pensando en cómo mejorar la experiencia el año que viene.

Dirigirnos a nuestro público

Para invitar a las personas encuestadas a completar la encuesta, hemos utilizado anuncios de Twitter, Facebook, Instagram, Quora y los propios canales de comunicación de JetBrains. También hemos publicado enlaces en algunos grupos de usuarios y canales de comunidades tecnológicas, y pedido a las personas encuestadas que compartieran el enlace a la encuesta con sus compañeros.

Países y regiones

Recogimos muestras suficientemente grandes de 14 países: Alemania, Argentina, Brasil, Canadá, China, Corea del Sur, España, Estados Unidos, Francia, India, Japón, México, Reino Unido y Turquía.

Este año hemos evitado el uso de anuncios de pago para recoger respuestas de Bielorrusia, Rusia y Ucrania. Las respuestas de Bielorrusia se combinaron con Europa del Este, los Balcanes y la región del Cáucaso.

El resto de los países se distribuyeron en 6 regiones:

África, Oriente Medio y Asia Central
Europa del Este, los Balcanes y el Cáucaso
Europa del Norte y Benelux
Otros países europeos
Sudeste asiático y Oceanía, Australia y Nueva Zelanda
América Central y del Sur

Para cada región geográfica (excepto para Canadá y Japón), recogimos al menos 300 respuestas de fuentes externas, como anuncios.

Localización

Para minimizar cualquier posible sesgo contra los encuestados que no hablan inglés, la encuesta también estaba disponible en otros 8 idiomas: alemán, chino, francés, japonés, coreano, portugués de Brasil, español y turco.

Reducción de sesgos en el muestreo

El informe se basa en los datos ponderados según la procedencia de las respuestas. Tomamos como base las respuestas recogidas de fuentes externas que están menos sesgadas hacia los usuarios de JetBrains, como los anuncios pagados en Twitter, Facebook, Instagram, Quora y las referencias de los encuestados. Tuvimos en cuenta la fuente de cada encuestado individualmente para generar resultados basados en los procedimientos de ponderación.

Realizamos hasta tres fases de ponderación para obtener una imagen más imparcial de la población mundial de desarrolladores.

Primera etapa de ponderación: ajuste de las poblaciones de promotores profesionales en cada región

En la primera etapa, reunimos las respuestas recopiladas orientando a diferentes países y, a continuación, aplicamos a estos datos nuestros cálculos de la población de desarrolladores profesionales en cada país.

En primer lugar, obtuvimos los datos de la encuesta de desarrolladores profesionales y estudiantes en activo que procedían de los anuncios publicados en diversas redes sociales en las 20 regiones, junto con los datos que procedían de diversas referencias de compañeros. Aunque este año no hemos recogido datos de Rusia y Ucrania, hemos incluido estos dos países en el informe y los hemos ponderado utilizando una aproximación de los datos del año pasado. Pensamos que ambos países cuentan con un número importante de desarrolladores, y que eliminarlos del informe podría tener consecuencias imprevistas.

A continuación, hemos ponderado todas estas respuestas según nuestra población estimada de desarrolladores profesionales en esas 22 regiones. Esto nos ha permitido garantizar que la distribución de las respuestas corresponde a nuestras estimaciones del número de desarrolladores profesionales en cada país.

Segunda etapa de ponderación: las proporciones de desarrolladores actualmente empleados y desempleados

En una segunda etapa, fijamos la proporción de estudiantes y personas encuestadas en paro en un 17 % para todos los países. De este modo, hemos mantenido la coherencia con la metodología del año anterior, ya que se trata de la única estimación de sus poblaciones de la que disponemos.

Llegados a este punto, teníamos una distribución de 14 330 respuestas de fuentes externas ponderadas tanto por región como por situación laboral.

Tercera etapa de ponderación: situación laboral, lenguajes de programación, utilización de productos JetBrains

La tercera etapa era bastante elaborada, ya que incluye cálculos obtenidos resolviendo sistemas de ecuaciones. Hemos tomado esas 14 330 respuestas ponderadas. Para los desarrolladores de cada región, además de su situación laboral, hemos calculado el porcentaje de cada uno de los más de 30 lenguajes de programación, además de los porcentajes de quienes han respondido «Actualmente utilizo productos de JetBrains» y «Nunca he oído hablar de JetBrains ni de sus productos». Esos porcentajes se han convertido en constantes en nuestras ecuaciones.

El siguiente paso ha sido añadir dos grupos más de respuestas procedentes de otras fuentes: los canales de comunicación interna de JetBrains, como las cuentas de redes sociales de JetBrains y nuestro panel de investigación, y las campañas publicitarias en redes sociales dirigidas a usuarios de determinados lenguajes de programación. Se han obtenido 14 939 respuestas más, que se han ponderado para mantener la igualdad entre todas las cuotas.

Resolviendo el sistema de más de 30 ecuaciones lineales y desigualdades

Hemos compuesto un sistema de +30 ecuaciones lineales y desigualdades que describían:

Los coeficientes de ponderación para las personas encuestadas (como ejemplo hipotético, Fiona en nuestra muestra representa a una media de 180 desarrolladores de software de Francia).
Los valores específicos de sus respuestas (por ejemplo, Pierre utiliza C++, tiene un empleo fijo y nunca ha oído hablar de JetBrains).
Los ratios necesarios entre sus respuestas (por ejemplo, un 27 % de los desarrolladores han usado C++ en los últimos 12 meses, etc.).

Para resolver este sistema de ecuaciones con la mínima varianza de los coeficientes de ponderación (¡lo cual es importante!), utilizamos el método dual de Goldfarb e Idnani (1982, 1983), que nos ayudó a cotejar los coeficientes de ponderación individuales óptimos para los 29 269 encuestados totales.

Persistencia de sesgos

A pesar de estas medidas, es probable que exista cierto sesgo, puesto que los usuarios de JetBrains, en general, podrían estar más dispuestos a realizar la encuesta.

Además, el ecosistema de nuestra comunidad está evolucionando, y puede haber algunas fluctuaciones de datos a pesar de nuestras ponderaciones y esfuerzos. Por ejemplo, en 2021 hubo un aumento sustancial en el número de desarrolladores de PHP (específicamente, Laravel) que encuestamos. La razón fue que los enlaces para compartir la encuesta personal se publicaron en algunas comunidades de PHP, y el enlace a nuestro artículo del blog también fue tuiteado por la cuenta de Twitter de Laravel. Esto atrajo una parte desproporcionadamente alta de desarrolladores de PHP y Laravel a nuestra encuesta. Mejoraremos nuestros algoritmos de ponderación para compensar estas alteraciones.

Continuaremos actualizando y mejorando nuestra metodología de ponderación en el futuro. ¡Podrá ver el resultado en la encuesta sobre el ecosistema de los desarrolladores 2023!