Metodologia

Este é um relatório público e seu conteúdo pode ser usado desde que a fonte seja devidamente creditada.

O número de entrevistados

Mais de 35.000 pessoas participaram da Pesquisa sobre o Ecossistema de Desenvolvedores de 2023. Para garantir que estávamos trabalhando com a amostra mais representativa possível, filtramos os dados por meio do processo descrito abaixo. Como resultado, o relatório baseia-se nas opiniões de 26.348 desenvolvedores de 196 países e regiões, incluindo duas respostas supostamente da Antártida. Os dados foram ponderados de acordo com vários critérios, conforme descrito nas partes finais desta seção.

Processo de limpeza de dados

Aproveitamos respostas incompletas apenas nos casos em que o participante respondeu pelo menos a pergunta sobre o uso de linguagens de programação. Também usamos um conjunto de critérios para identificar e excluir respostas suspeitas, incluindo estes:

Pesquisas que foram preenchidas rápido demais.
Pesquisas de endereços IP idênticos, bem como pesquisas com respostas extremamente semelhantes. Quando duas pesquisas com o mesmo endereço IP foram mais de 75% idênticas, mantivemos a mais completa.
Pesquisas com respostas conflitantes, por exemplo, “18 a 20 anos de idade” combinada com “mais de 16 anos de experiência profissional”.
Pesquisas com apenas uma opção escolhida para quase todas as questões de múltipla escolha.
Pesquisas enviadas do mesmo endereço de e-mail. Nesses casos, mantivemos a pesquisa mais completa.

Reduzindo a carga de respostas

A pesquisa deste ano consistiu de 544 perguntas.

Nossa meta era cobrir uma variedade de áreas de pesquisa. Assim, cada participante foi exposto a certas seções, mas não a outras, com base nas suas respostas anteriores. Por exemplo, perguntas sobre Go foram mostradas apenas aos programadores que usam Go. Além disso, aleatorizamos perguntas e seções para reduzir ainda mais o esforço de cada participante.

Em média, os participantes gastaram 30 minutos para concluírem a pesquisa. Embora tenhamos nos esforçado para racionalizar o processo da pesquisa, nosso objetivo é tornar a interação ainda mais eficiente no próximo ano.

Segmentação do nosso público

Para convidarmos participantes em potencial a responderem à pesquisa, usamos anúncios no Twitter, Facebook, Instagram e Quora, além dos canais próprios de comunicação da JetBrains. Também postamos links em grupos de usuários e canais da comunidade de tecnologia, e pedimos aos participantes que compartilhassem a pesquisa com seus colegas.

Países e regiões

Coletamos amostras suficientemente grandes de 16 países: Argentina, Brasil, Canadá, China, França, Alemanha, Índia, Japão, México, Coreia do Sul, Espanha, Turquia, Rússia, Ucrânia, Reino Unido e Estados Unidos.

Os demais países foram distribuídos em 6 regiões:

Oriente Médio, África, Ásia Central
Europa Oriental, Bálcãs e Cáucaso
Benelux e Norte da Europa
Resto da Europa (incluindo Chipre e Israel)
Outros países do Sudeste Asiático e Oceania (incluindo Austrália e Nova Zelândia)
América Central e do Sul (exceto Argentina, Brasil e México)

Para cada região geográfica, coletamos pelo menos 300 respostas de fontes externas, como anúncios ou encaminhamentos pelos participantes.

Localização

Para maximizar a inclusão e acomodar uma faixa diversificada de participantes, a pesquisa estava disponível em 10 idiomas: inglês, chinês, francês, alemão, japonês, coreano, português do Brasil, russo, espanhol e turco.

Redução do viés da amostragem

Ponderamos os dados de acordo com a procedência das respostas. Tomamos como base as respostas coletadas de fontes externas, que têm um menor viés na direção dos usuários da JetBrains, como anúncios pagos no Twitter, Facebook, Instagram e Quora, além de indicações dos entrevistados. Levamos em consideração cada participante individualmente como fonte para gerar resultados com base nos procedimentos de ponderação.

Realizamos três etapas de ponderação para obter uma imagem mais imparcial da população mundial de desenvolvedores.

Primeira etapa: ajustes na população de desenvolvedores profissionais de cada região

No primeiro estágio, reunimos as respostas coletadas enquanto segmentamos diferentes países e, em seguida, aplicamos nossas estimativas das populações de desenvolvedores profissionais em cada país a esses dados.

Primeiro reunimos os dados da pesquisa, recebidos de desenvolvedores profissionais e estagiários e encaminhados para nós através de anúncios postados em várias redes sociais nas 22 regiões, juntamente com os dados que recebemos de vários encaminhamentos de colegas. Embora não tenhamos publicitado a pesquisa na Ucrânia e na Rússia, incluímos esses dois países no relatório, usando uma aproximação dos dados de 2021 para ponderá-los de acordo. Depois, ponderamos as respostas conforme nossas estimativas da população de desenvolvedores nessas 22 regiões. Isso garantiu que a distribuição das respostas correspondesse ao tamanho da população de desenvolvedores profissionais em cada país.

Segunda etapa: as proporções de desenvolvedores atualmente empregados e desempregados

No segundo estágio, forçamos a proporção de estudantes e entrevistados desempregados para ser 17% em todos os países. Fizemos isso para manter a consistência com a metodologia do ano anterior, pois essa é a única estimativa de suas populações que temos disponíveis.

A essa altura, tivemos uma distribuição de respostas de fontes externas, ponderadas por região e por situação de emprego.

Terceira etapa: situação de emprego, linguagens de programação e uso de produtos da JetBrains

A terceira etapa foi bastante sofisticada, pois incluiu cálculos feitos através da resolução de sistemas de equações. Tomamos essas respostas ponderadas e, para os desenvolvedores de cada região, além da situação de emprego, calculamos as participações de cada uma das mais de 30 linguagens de programação, bem como a participação daqueles que responderam "Atualmente uso produtos da JetBrains" e "Nunca ouvi falar da JetBrains ou de seus produtos". Essas participações se tornaram constantes em nossas equações.

O próximo passo foi adicionar mais dois grupos de respostas de outras fontes: canais internos de comunicação da JetBrains, como nossas contas de redes sociais e nosso painel de pesquisa, além de campanhas de publicidade em redes sociais direcionadas a usuários de determinadas linguagens de programação.

Resolvendo o sistema de equações lineares e desigualdades

Compusemos um sistema com mais de 30 equações e desigualdades lineares que descreviam o seguinte:

Os coeficientes de ponderação dos participantes (por exemplo, na nossa amostra, Fiona representa, em média, 180 desenvolvedores de software da França).
Os valores específicos de suas respostas (por exemplo, Pierre usa C++, ele está totalmente empregado e nunca ouviu falar da JetBrains).
As proporções necessárias entre suas respostas (por exemplo, 27% dos desenvolvedores usaram C++ nos últimos 12 meses e assim por diante).

Para resolver esse sistema de equações com uma variância mínima dos coeficientes de ponderação (isso é importante!), usamos o método duplo de Goldfarb e Idnani (1982, 1983), que nos ajudou a obter coeficientes de ponderação individuais otimizados para o total de 26.348 participantes.

Viés persistente

Apesar dessas medidas, é provável que haja algum viés, pois talvez os usuários da JetBrains estivessem mais dispostos, na média, a concluir a pesquisa.

Por mais que tentemos controlar a distribuição da pesquisa e apliquemos uma ponderação inteligente, as comunidades e o ecossistema dos desenvolvedores estão em evolução constante e não se pode eliminar completamente a possibilidade de algumas flutuações inesperadas dos dados.

Continuaremos a atualizar e aperfeiçoar nossa metodologia no futuro. Fique ligado na Pesquisa do Ecossistema de Desenvolvedores de 2024!