방법론

응답자 수

2022년 개발자 에코시스템 설문조사 참여자는 38,000명 이상입니다. 가장 대표성 높은 표본을 확보하기 위해 아래 설명된 프로세스를 통해 데이터를 정리했습니다. 결과적으로 이 보고서는 남극에서 보고된 응답 2개를 포함하여 187개 국가 및 지역의 개발자 29,269명의 응답을 기반으로 작성되었습니다. 이 섹션의 마지막 부분에 설명된 대로 여러 기준에 따라 데이터에 가중치를 적용했습니다.

데이터 정리 프로세스

응답자가 기본 프로그래밍 언어에 대한 질문에 답하기 전에 설문조사를 나가는 경우를 제외하고 일부만 답변한 응답을 사용했습니다. 또한 일련의 기준을 사용하여 의심스러운 응답을 식별하고 제외했습니다. 확인한 몇 가지 지표는 다음과 같습니다.

답변에 대한 부담 완화

올해 설문조사는 527개의 질문으로 구성되었습니다. 목표는 설문조사에 최대한 많은 조사 주제를 포함하는 것이었지만, 적용된 논리에도 불구하고 설문조사가 여전히 너무 길다고 생각되었습니다.

설문조사 길이를 줄이고 답변에 대한 부담을 완화하기 위해 일부 질문을 무작위로 배정하는 조치를 취했습니다.

대상 설정

설문조사에 응할 잠재 응답자를 초대하기 위해 Twitter 광고, Facebook 광고, Instagram, Quora 및 JetBrains의 자체 커뮤니케이션 채널을 사용했습니다. 또한 일부 사용자 그룹과 기술 커뮤니티 채널에 대한 링크를 게시했으며 응답자들에게 설문조사 링크를 동료들과 공유하도록 요청했습니다.

국가 및 지역

아르헨티나, 브라질, 캐나다, 중국, 프랑스, 독일, 인도, 일본, 멕시코, 한국, 스페인, 터키, 영국, 미국 등 14개국에서 충분히 큰 표본을 수집했습니다.

올해 벨라루스, 러시아, 우크라이나에서 응답을 수집하기 위해 유료 광고를 하지 않았습니다. 벨라루스에서 수집된 응답은 동유럽, 발칸 반도, 카프카스 지역의 응답과 통합했습니다.

나머지 국가는 다음 6개 지역에 걸쳐 분포되어 있습니다.

현지화

영어를 사용하지 못하는 응답자를 배제하는 통계적 편중을 최소화하기 위해 설문조사는 추가적으로 8개의 언어(중국어, 프랑스어, 독일어, 일본어, 한국어, 브라질 포르투갈어, 스페인어 및 터키어)로도 제공되었습니다.

샘플링 편향 감소

이 보고서는 응답의 출처에 따라 가중치를 적용한 데이터를 기반으로 합니다. Twitter, Facebook, Instagram, Quora의 유료 광고 및 응답자 추천과 같이 JetBrains 사용자로 편중되지 않은 외부 출처에서 수집된 응답을 기본으로 사용했습니다. 가중치 적용 절차를 기초로 결과를 생성하기 위해 각 응답자의 출처를 개별적으로 고려했습니다.

당사는 전 세계 개발자 집단의 의견을 편향 없이 수렴하여 파악하기 위해 최대 3단계의 가중치 적용 과정을 거칩니다.

여전히 존재하는 편차

이러한 조치에도 불구하고 JetBrains 사용자들은 평균적으로 더 적극적으로 이 설문조사에 참가하였기 때문에 일부 편향이 존재할 수 있습니다.

또한 커뮤니티 에코시스템도 발전하고 있으며, 단계적 가중치 적용과 여러 노력에도 불구하고 데이터 변동이 있을 수 있습니다. 예를 들어, 2021년 설문조사에 참여한 PHP 개발자(특히 Laravel)의 수가 대폭 증가했습니다. 그 이유는 개인 설문조사 공유 링크가 일부 PHP 커뮤니티에 게시되었고, Laravel의 Twitter 계정에서 블로그 게시물 링크가 트윗으로 게시되었기 때문입니다. 그 결과 PHP 및 Laravel 개발자가 과도하게 높은 비율로 설문조사에 참여했습니다. 이와 같이 급격하게 참여가 증가하는 경우에 대응할 수 있도록 알고리즘을 개선할 예정입니다.