Metodologia

Mais de 34.000 pessoas participaram da Pesquisa sobre o Ecossistema de Desenvolvedores de 2020. Esse relatório baseia-se na contribuição de 19.696 desenvolvedores de 18 países, ponderados por vários critérios, conforme descrito nos próximos parágrafos. Cada gráfico do relatório foi construído com dados de nada menos do que 300 respostas obtidas para cada ponto.

Para encurtar a pesquisa e reduzir sua carga de respostas, algumas seções foram mostradas aos entrevistados aleatoriamente. Houve seis seções aleatórias, das quais cada entrevistado viu apenas duas:

1. Integração contínua, rastreamento de issues e VCS
2. Testes
3. DevOps e hospedagem
4. Análise estática, open source, etc.
5. Educação
6. Multiplataformas e microsserviços

Por exemplo, se um respondente selecionasse Engenheiro de teste/controle de qualidade ou Engenheiro de DevOps/Desenvolvedor de infraestrutura como cargo, ele inevitavelmente receberia uma seção definida sobre seu cargo, além de outra seção aleatoriamente selecionada.

Para convidar possíveis entrevistados a concluir a pesquisa, usamos o Twitter ads, o Facebook ads, o Instagram, o Quora, o Vkontakte, o Codefund, o Baidu e os próprios canais de comunicação da JetBrains.

Em nossas campanhas publicitárias, usamos duas ondas de segmentação. A primeira onda teve como alvo países específicos, enquanto a segunda segmentação raramente usou linguagens de programação para reduzir a variação nas seções correspondentes a essas linguagens de programação. Segmentamos as linguagens Ruby, Scala, Rust, Swift e Objective-C. Também pedimos aos nossos entrevistados que compartilhassem o link da pesquisa com seus colegas.

Para minimizar a tendenciosidade, o relatório baseia-se nos dados ponderados em relação às respostas provenientes de anúncios no Twitter, Facebook, Instagram, Quora, Vkontakte, Codefund, Baidu e indicações dos entrevistados.

Levamos em conta a fonte de cada entrevistado individualmente para gerar os resultados com base nos procedimentos de ponderação. Realizamos três estágios de ponderação para obter uma imagem menos tendenciosa da população mundial de desenvolvedores.

Primeira etapa de ponderação: populações de desenvolvedores profissionais em 18 países

No primeiro estágio, reunimos as respostas coletadas enquanto segmentamos diferentes países e, em seguida, aplicamos nossas estimativas das populações de desenvolvedores profissionais em cada país a esses dados.

Primeiro, coletamos os dados da pesquisa de desenvolvedores profissionais e estudantes provenientes de anúncios publicados em várias redes sociais nos 18 países-alvo, juntamente com os dados de várias referências de colegas. Em seguida, ponderamos todas essas respostas de acordo com nossa população estimada de desenvolvedores profissionais nesses 18 países. Isso garantiu que a distribuição das respostas correspondesse às nossas estimativas do número de desenvolvedores profissionais em cada país.

Segunda etapa de ponderação: as proporções de desenvolvedores atualmente empregados e desempregados

No segundo estágio, forçamos a proporção de estudantes e entrevistados desempregados (que chegaram até nós por meio das mesmas campanhas publicitárias externas) para ser 17% em todos os países. Fizemos isso para manter a consistência com a metodologia do ano anterior, pois essa é a única estimativa de suas populações que temos disponíveis.

Como resultado, tivemos uma distribuição de 10.116 respostas de fontes externas ponderadas por país e situação profissional.

Terceira etapa de ponderação: situação de emprego, linguagens de programação, utilização de produtos da JetBrains

O terceiro estágio foi bastante sofisticado, pois incluiu cálculos obtidos através da resolução de sistemas de equações. Tomamos essas 10.116 respostas ponderadas. Para desenvolvedores de cada país, além da situação de emprego, calculamos as participações de cada uma das mais de 30 linguagens de programação, bem como as participações para aqueles que responderam "Atualmente uso produtos da JetBrains" e "Nunca ouvi falar da JetBrains ou de seus produtos". Essas participações se tornaram constantes em nossas equações.

O próximo passo foi adicionar mais dois grupos de respostas de outras fontes: canais internos de comunicação da JetBrains, como contas de redes sociais da JetBrains e nosso painel de pesquisa, além de campanhas de publicidade em redes sociais direcionadas a usuários de determinadas linguagens de programação. Isso trouxe mais 9.580 respostas, que ponderamos para manter todas essas participações iguais.

Resolvendo o sistema de mais de 30 equações lineares e desigualdades

Compusemos um sistema com mais de 30 equações e desigualdades lineares que descreviam o seguinte:

• Os coeficientes de ponderação para os entrevistados (por exemplo, Pierre da nossa amostra representa, em média, 180 desenvolvedores de software da França).
• Os valores específicos de suas respostas (Pierre usa C++, ele está totalmente empregado e nunca ouviu falar da JetBrains).
• As proporções necessárias entre suas respostas (por exemplo, 27% dos desenvolvedores usaram C++ nos últimos 12 meses e assim por diante).

Para resolver esse sistema de equações com a variação mínima dos coeficientes de ponderação (o que é importante!), usamos o método duplo de Goldfarb e Idnani (1982, 1983), que nos ajudou a agrupar coeficientes de ponderação individuais ideais para os entrevistados.

Apesar dessas medidas, é provável que haja algum viés, já que é possível que os usuários da JetBrains tenham se prontificado mais, em média, a concluir a pesquisa.

Além disso, o ecossistema da nossa comunidade está em desenvolvimento e pode haver algumas flutuações de dados apesar de nossos estágios e esforços de ponderação. Por exemplo, a participação de usuários do Kotlin que compilam seus aplicativos para JVM aumentou em nossos dados devido ao viés Kotlin/JVM em nossas fontes, embora não tenha havido alterações na participação geral da linguagem Kotlin.

Continuaremos atualizando e aprimorando nossa metodologia de ponderação no futuro. Fique ligado no nosso DevEco 2021!