Metodologia

Mais de 47.000 pessoas participaram da Pesquisa sobre o Ecossistema de Desenvolvedores de 2021. Esse relatório é baseado na participação de 31.743 desenvolvedores provenientes de 183 países ou regiões. Os dados foram ponderados de acordo com diversos critérios, conforme descrito nos parágrafos seguintes.

Usamos respostas parciais, exceto nos casos em que o entrevistado deixou a pesquisa antes de responder às perguntas sobre suas linguagens de programação principais. Também usamos um conjunto de critérios para identificar e excluir respostas suspeitas. Aqui estão alguns dos indicadores que verificamos:

• Pesquisas que foram preenchidas com muita rapidez.
• Pesquisas de endereços IP idênticos, bem como pesquisas com respostas extremamente semelhantes. Se duas respostas foram mais de 75% idênticas de acordo com o coeficiente de sobreposição de Szymkiewicz-Simpson, mantivemos aquela com mais perguntas respondidas.
• Pesquisas com respostas conflitantes, por exemplo, “18 a 20 anos de idade” combinada com “mais de 16 anos de experiência profissional”.
• Pesquisas com apenas uma opção escolhida para quase todas as questões de múltipla escolha.
• Quando várias pesquisas foram enviadas pelo mesmo endereço de e-mail, mantivemos a versão mais completa.

Para encurtar a pesquisa e reduzir sua carga de respostas, algumas seções foram mostradas aos entrevistados aleatoriamente. Houve sete seções aleatórias, das quais cada entrevistado viu apenas duas:

• Integração contínua, rastreamento de issues e VCS
• Testes
• DevOps e hospedagem
• Análise estática, open source, etc.
• Educação
• Multiplataformas e microsserviços
• Ferramentas de comunicação

Por exemplo, se um entrevistado selecionasse Engenheiro de Teste/Controle de Qualidade ou Engenheiro de DevOps/Infraestrutura como cargo, ele receberia uma seção definida sobre seu cargo, além de outra seção aleatoriamente selecionada.

Apesar de nossas medidas para reduzir o trabalho exigido dos entrevistados e, ao mesmo tempo, seguir nossa meta de abranger o maior número possível de tópicos de pesquisa, descobrimos que os entrevistados, em média, passam mais tempo na pesquisa do que podemos razoavelmente solicitar. Revisaremos a estrutura da pesquisa no ano que vem para tentar melhorar essa experiência.

Para minimizar a tendenciosidade, o relatório baseia-se nos dados ponderados em relação às respostas provenientes de anúncios no Twitter, Facebook, Instagram, Quora, VK e indicações dos entrevistados. Levamos em conta a fonte de cada entrevistado individualmente para gerar os resultados com base nos procedimentos de ponderação. Realizamos três estágios de ponderação para obter uma imagem menos tendenciosa da população mundial de desenvolvedores.

Primeiro estágio de ponderação: populações de desenvolvedores profissionais em 23 regiões

No primeiro estágio, reunimos as respostas coletadas enquanto segmentamos diferentes países e, em seguida, aplicamos nossas estimativas das populações de desenvolvedores profissionais em cada país a esses dados.

Coletamos os dados da pesquisa de desenvolvedores profissionais e estudantes provenientes de anúncios publicados em várias redes sociais nas 23 regiões, juntamente com os dados de várias indicações de colegas. Em seguida, ponderamos todas essas respostas de acordo com nossa população estimada de desenvolvedores profissionais nessas 23 regiões. Isso garantiu que a distribuição das respostas correspondesse às nossas estimativas do número de desenvolvedores profissionais em cada país.

Segunda etapa de ponderação: as proporções de desenvolvedores atualmente empregados e desempregados

No segundo estágio, forçamos a proporção de estudantes e entrevistados desempregados (que chegaram até nós por meio das mesmas campanhas publicitárias externas) para ser 17% em todos os países. Fizemos isso para manter a consistência com a metodologia do ano anterior, pois essa é a única estimativa de suas populações que temos disponíveis.

Como resultado, tivemos uma distribuição de 19.281 respostas de fontes externas ponderadas por país e situação de emprego.

Terceira etapa de ponderação: situação de emprego, linguagens de programação, utilização de produtos da JetBrains

O terceiro estágio foi bastante sofisticado, pois incluiu cálculos obtidos através da resolução de sistemas de equações. Tomamos essas 19.281 respostas ponderadas. Para desenvolvedores de cada país, além da situação de emprego, calculamos as participações de cada uma das mais de 30 linguagens de programação, bem como as participações para aqueles que responderam "Atualmente uso produtos da JetBrains" e "Nunca ouvi falar da JetBrains ou de seus produtos". Essas participações se tornaram constantes em nossas equações.

O próximo passo foi adicionar mais dois grupos de respostas de outras fontes: canais internos de comunicação da JetBrains, como contas de redes sociais da JetBrains e nosso painel de pesquisa, além de campanhas de publicidade em redes sociais direcionadas a usuários de determinadas linguagens de programação. Isso gerou mais 12.462 respostas, que ponderamos para manter todas essas participações iguais.

Resolvendo o sistema de mais de 30 equações lineares e desigualdades

Compusemos um sistema com mais de 30 equações e desigualdades lineares que descreviam o seguinte:

• Os coeficientes de ponderação para os entrevistados (por exemplo, Fiona na nossa amostra representa, em média, 180 desenvolvedores de software da França).
• Os valores específicos de suas respostas (Pierre usa C++, ele está totalmente empregado e nunca ouviu falar da JetBrains).
• As proporções necessárias entre suas respostas (por exemplo, 27% dos desenvolvedores usaram C++ nos últimos 12 meses e assim por diante).

Para resolver esse sistema de equações com a variação mínima dos coeficientes de ponderação (o que é importante!), usamos o método duplo de Goldfarb e Idnani (1982, 1983), que nos ajudou a agrupar coeficientes de ponderação individuais ideais para os entrevistados.

Apesar dessas medidas, é provável que haja algum viés, já que é possível que os usuários da JetBrains tenham se prontificado mais, em média, a concluir a pesquisa.

Além disso, o ecossistema da nossa comunidade está em desenvolvimento e pode haver algumas flutuações de dados apesar de nossos estágios e esforços de ponderação. Por exemplo, a participação de usuários do Kotlin que compilam seus aplicativos para JVM aumentou em nossos dados devido ao viés Kotlin/JVM em nossas fontes, embora não tenha havido alterações na participação geral da linguagem Kotlin.

Continuaremos a atualizar e melhorar nossa metodologia de ponderação no futuro. Fique ligado na DevEco 2022!