Metodologia

Este é um relatório público e seu conteúdo pode ser usado desde que a fonte seja devidamente creditada.

O número de entrevistados

Mais de 38.000 pessoas participaram da Pesquisa sobre o Ecossistema de Desenvolvedores de 2022. Para garantir que estávamos trabalhando com a amostra mais representativa possível, filtramos os dados por meio do processo descrito abaixo. Como resultado, o relatório baseia-se nas opiniões de 29.269 desenvolvedores provenientes de 187 países e regiões, incluindo duas respostas da Antártida. Os dados foram ponderados de acordo com vários critérios, conforme descrito nas partes finais desta seção.

Processo de limpeza de dados

Usamos respostas parciais, exceto nos casos em que o entrevistado deixou a pesquisa antes de responder às perguntas sobre suas linguagens de programação principais. Também usamos um conjunto de critérios para identificar e excluir respostas suspeitas. Aqui estão alguns dos indicadores que verificamos:

Pesquisas que foram preenchidas rápido demais.
Pesquisas de endereços IP idênticos, bem como pesquisas com respostas extremamente semelhantes. Quando duas pesquisas com o mesmo endereço IP foram mais de 75% idênticas, mantivemos a mais completa.
Pesquisas com respostas conflitantes, por exemplo, “18 a 20 anos de idade” combinada com “mais de 16 anos de experiência profissional”.
Pesquisas com apenas uma opção escolhida para quase todas as questões de múltipla escolha.
Pesquisas enviadas do mesmo endereço de e-mail. Nesses casos, mantivemos a pesquisa mais completa.

Reduzindo a carga de respostas

Este ano, a pesquisa foi composta por 527 perguntas. Embora nosso objetivo fosse abranger o maior número possível de tópicos de pesquisa, e apesar da lógica aplicada, ainda achamos que ela foi muito longa.

Para encurtar a pesquisa e reduzir sua carga de respostas, tomamos medidas para aleatorizar algumas perguntas:

Aleatorizamos oito seções, das quais cada entrevistado viu apenas 2:
- Integração contínua, rastreamento de issues e VCS
- DevOps e hospedagem
- Análise estática, open source, etc.
- Educação
- Multiplataformas e microsserviços
- Ferramentas de comunicação
- Segurança
- Desenvolvimento remoto e colaborativo
Mostramos aleatoriamente as seções sobre as linguagens mais populares, como Java, JavaScript, SQL, Python e GraphQL, para 50% dos entrevistados qualificados.
Também ocultamos aleatoriamente as perguntas que não tinham qualquer lógica ou dependência.

Apesar das nossas medidas para reduzir o trabalho necessário para concluir a pesquisa, os entrevistados gastaram em média cerca de 30 a 40 minutos para responder a todas as perguntas, o que ainda achamos muito. Já estamos pensando em maneiras de melhorar essa experiência no ano que vem.

Segmentação do nosso público

Para convidar possíveis entrevistados a responder à pesquisa, usamos anúncios no Twitter, Facebook, Instagram, Quora e os próprios canais de comunicação da JetBrains. Também postamos links para alguns grupos de usuários e canais da comunidade de tecnologia e pedimos aos nossos entrevistados que compartilhassem o link da pesquisa com seus colegas.

Países e regiões

Coletamos amostras suficientemente grandes de 14 países: Argentina, Brasil, Canadá, China, França, Alemanha, Índia, Japão, México, Coreia do Sul, Espanha, Turquia, Reino Unido e Estados Unidos.

Este ano, evitamos usar anúncios pagos para coletar respostas da Bielorrússia, Rússia e Ucrânia. As respostas da Bielorrússia foram combinadas com as da Europa Oriental, dos Balcãs e da região do Cáucaso.

Os demais países foram distribuídos em 6 regiões:

África, Oriente Médio e Ásia Central
Europa Oriental, Balcãs e Cáucaso
Norte da Europa e Benelux
Outros países europeus
Sudeste Asiático e Oceania, Austrália e Nova Zelândia
América Central e América do Sul

Para cada região geográfica (exceto Canadá e Japão), coletamos pelo menos 300 respostas de fontes externas, como anúncios.

Localização

Para minimizar qualquer possível preconceito contra os entrevistados que não falam inglês, a pesquisa também foi disponibilizada em oito idiomas adicionais: chinês, francês, alemão, japonês, coreano, português do Brasil, espanhol e turco.

Redução do viés da amostragem

O relatório é baseado nos dados ponderados de acordo com a origem das respostas. Tomamos como base as respostas coletadas de fontes externas, que são menos tendenciosas em relação aos usuários da JetBrains, como anúncios pagos no Twitter, Facebook, Instagram, Quora, e indicações dos entrevistados. Levamos em consideração a fonte de cada entrevistado individualmente para gerar resultados com base nos procedimentos de ponderação.

Realizamos até três estágios de ponderação para obter uma imagem mais imparcial da população de desenvolvedores em todo o mundo.

Primeira etapa de ponderação: ajustes para considerar as populações de desenvolvedores profissionais em cada região

No primeiro estágio, reunimos as respostas coletadas enquanto segmentamos diferentes países e, em seguida, aplicamos nossas estimativas das populações de desenvolvedores profissionais em cada país a esses dados.

Primeiro, coletamos dados de pesquisa sobre desenvolvedores profissionais e estudantes trabalhadores que vieram de anúncios postados em várias redes sociais nas 20 regiões, juntamente com dados provenientes de diferentes indicações de colegas. Embora não tenhamos coletado dados para a Rússia e a Ucrânia este ano, incluímos esses dois países no relatório e os ponderamos usando uma aproximação com base nos dados do ano passado. Somos da opinião que ambos os países têm um número significativo de desenvolvedores, e removê-los do relatório poderia ter consequências imprevistas.

Em seguida, ponderamos todas essas respostas de acordo com nossa população estimada de desenvolvedores profissionais nessas 22 regiões. Isso garantiu que a distribuição das respostas correspondesse às nossas estimativas do número de desenvolvedores profissionais em cada país.

Segunda etapa de ponderação: as proporções de desenvolvedores atualmente empregados e desempregados

No segundo estágio, forçamos a proporção de estudantes e entrevistados desempregados para ser 17% em todos os países. Fizemos isso para manter a consistência com a metodologia do ano anterior, pois essa é a única estimativa de suas populações que temos disponíveis.

Nesse ponto, tivemos uma distribuição de 14.330 respostas de fontes externas ponderadas por região e situação de emprego.

Terceira etapa de ponderação: situação de emprego, linguagens de programação, utilização de produtos da JetBrains

O terceiro estágio foi bastante sofisticado, pois incluiu cálculos obtidos através da resolução de sistemas de equações. Tomamos essas 14.330 respostas ponderadas. Para desenvolvedores de cada região, além da situação de emprego, calculamos as participações de cada uma das mais de 30 linguagens de programação, bem como as participações para aqueles que responderam "Atualmente uso produtos da JetBrains" e "Nunca ouvi falar da JetBrains ou de seus produtos". Essas participações se tornaram constantes em nossas equações.

O próximo passo foi adicionar mais dois grupos de respostas de outras fontes: canais internos de comunicação da JetBrains, como contas de redes sociais da JetBrains e nosso painel de pesquisa, além de campanhas de publicidade em redes sociais direcionadas a usuários de determinadas linguagens de programação. Isto gerou mais 14.939 respostas, que ponderamos para manter todas essas participações iguais.

Resolvendo o sistema de mais de 30 equações lineares e desigualdades

Compusemos um sistema com mais de 30 equações e desigualdades lineares que descreviam o seguinte:

Os coeficientes de ponderação para os entrevistados (por exemplo, Fiona na nossa amostra representa, em média, 180 desenvolvedores de software da França).
Os valores específicos de suas respostas (por exemplo, Pierre usa C++, ele está totalmente empregado e nunca ouviu falar da JetBrains).
As proporções necessárias entre suas respostas (por exemplo, 27% dos desenvolvedores usaram C++ nos últimos 12 meses e assim por diante).

Para resolver esse sistema de equações com a variação mínima dos coeficientes de ponderação (o que é importante!), usamos o método duplo de Goldfarb e Idnani (1982, 1983), que nos ajudou a agrupar coeficientes de ponderação individuais ideais para o total de 29.269 entrevistados.

Viés persistente

Apesar dessas medidas, é provável que haja algum viés, já que é possível que os usuários da JetBrains tenham se prontificado mais, em média, a concluir a pesquisa.

Além disso, o ecossistema da nossa comunidade está evoluindo e pode haver algumas flutuações de dados apesar das nossas ponderações e esforços. Por exemplo, em 2021, houve um aumento substancial no número de desenvolvedores PHP (especificamente para o Laravel) que pesquisamos. Isto aconteceu porque links pessoais de compartilhamento da pesquisa foram postados em algumas comunidades PHP, e o link para a postagem no nosso blog também foi enviado via Twitter pela conta do Laravel no Twitter. Isto atraiu uma parcela desproporcionalmente alta de desenvolvedores PHP e Laravel à nossa pesquisa. Melhoraremos nossos algoritmos de ponderação para compensar esses surtos.

Continuaremos a atualizar e melhorar nossa metodologia de ponderação no futuro. Fique ligado para ver o que faremos para a DevEco 2023!