이 보고서는 공개용이며 출처를 적절히 밝히기만 한다면 내용을 사용하실 수 있습니다.

방법론

응답자 프로파일

2021년 개발자 에코시스템 설문조사에 참여한 인원은 47,000명 이상입니다. 이 보고서는 183개 국가 또는 지역의 개발자 31,743명의 응답을 바탕으로 합니다. 몇 가지 기준에 따라 데이터에 가중치를 부여했으며, 이에 대한 설명은 다음 단락에서 확인할 수 있습니다.

데이터 정리 프로세스

응답자가 기본 프로그래밍 언어에 대한 질문에 답하기 전에 설문조사를 나가는 경우를 제외하고 일부만 답변한 응답을 사용했습니다. 또한 일련의 기준을 사용하여 의심스러운 응답을 식별하고 제외했습니다. 확인한 몇 가지 지표는 다음과 같습니다.

너무 빨리 작성된 설문조사.
동일한 IP 주소의 설문조사 및 응답이 압도적으로 유사한 설문조사. Szymkiewicz-Simpson 중첩 계수에 따라 두 개의 응답이 75% 이상 동일하면 답변이 더 많은 설문을 채택했습니다.
상충되는 답변이 있는 설문조사(예: '16년 이상의 전문 경력'과 '현재 연령은 18 ~ 20세'가 동시에 선택됨)
거의 모든 객관식 질문에 대해 하나의 옵션만 선택한 설문조사.
동일한 이메일 주소에서 여러 설문조사를 제출한 경우 가장 완전한 설문조사를 선택했습니다.

답변에 대한 부담 완화

설문조사의 길이를 줄이고 답변에 대한 부담을 완화하기 위하여 일부 섹션은 응답자에게 무작위로 표시되었습니다. 각 응답자에게는 무작위로 표시되는 섹션 7개 중 2개만 표시되었습니다.

지속적 통합, 이슈 트래킹 및 VCS
테스트
DevOps 및 호스팅
정적 분석, 오픈 소스 등.
교육
크로스 플랫폼 및 마이크로서비스
커뮤니케이션 도구

예를 들어 응답자가 본인의 직책으로 테스터/QA 엔지니어 또는 DevOps 엔지니어/인프라 개발자를 선택한 경우, 해당 직책과 관련한 섹션 및 무작위로 선정된 섹션이 제시되었습니다.

가능한 한 많은 연구 주제를 다루려는 목표를 추구하면서 응답자가 설문조사를 최대한 어려움 없이 빠르게 마칠 수 있도록 최선을 다했지만 응답자들은 평균적으로 저희가 합리적으로 요청할 수 있는것보다 설문조사에 더 많은 시간을 할애하는 것으로 나타났습니다. 경험을 개선하기 위해 내년에는 설문조사를 개편할 예정입니다.

대상자 선정

설문조사에 응할 잠재 응답자를 초대하기 위해 Twitter 광고, Facebook 광고, Instagram, Quora, VK 및 JetBrains의 자체 커뮤니케이션 채널을 사용했습니다. 또한 일부 사용자 그룹과 기술 커뮤니티 채널에 대한 링크를 게시했으며 응답자들에게 설문조사 링크를 동료들과 공유하도록 요청했습니다.

국가

올해는 대상 지정 기준을 변경하고 지리적 범위를 넓혔습니다. 전 세계에서 응답자를 모집했으며, 지난 몇 년간 조사에서 대상으로 지정했던 18개국은 제외하고 응답자를 6개 지역으로 구분했습니다.

23개 지역에서 충분히 많은 샘플을 수집했습니다. 이러한 지역에는 아르헨티나, 벨라루스, 브라질, 캐나다, 중국, 프랑스, 독일, 인도, 일본, 멕시코, 러시아, 한국, 스페인, 터키, 우크라이나, 영국 및 미국 등 전세계 모든 개발자의 약 70%를 차지하는 17개 국가가 포함됩니다. 나머지 국가는 6개 지역에 걸쳐 분포되었습니다.

아프리카, 중동 및 중앙 아시아
위에 기재되지 않은 유럽 국가
동남아시아 및 오세아니아, 호주 및 뉴질랜드
중남미
동유럽, 발칸 반도 및 코카서스
북유럽 및 베네룩스 3국

각 지역(캐나다와 일본 제외)에서 광고와 같은 외부 소스를 통해 최소 300명 이상으로부터 의견을 수렴했습니다. 일부 지역에서는 특정 국가(예: 네팔 및 케냐)에서 비정상적으로 많은 응답을 받았습니다. 보다 대표적인 분포를 보장하기 위해 이러한 응답 중 일부는 분석에서 제외했습니다.

현지화

비영어권 응답자에 대한 편향를 최대한 줄이기 위해 설문조사는 추가적으로 9개의 언어(한국어, 중국어, 프랑스어, 독일어, 일본어, 포르투갈어, 러시아어, 스페인어, 터키어)로도 제공되었습니다.

샘플링 편향 감소

편향을 최소화하기 위해 보고서는 Twitter 광고, Facebook 광고, Instagram, Quora, VK 및 응답자의 추천에서 수집한 응답과 관련하여 가중치가 적용된 데이터를 사용합니다. 가중치 부여 절차를 기초로 결과를 생성하기 위해 각 응답자의 출처를 개별적으로 고려했습니다. 전 세계 개발자 집단에 대해 덜 편향된 그림을 얻기 위해 세 단계에 걸쳐 가중치를 부여했습니다.

가중치 적용 첫 번째 단계: 23개 지역의 전문 개발자 집단

첫 번째 단계에서는 여러 국가를 대상 국가로 선정하여 응답을 수집하고 국가별 전문 개발자 모집단의 추정치를 해당 데이터에 적용했습니다.

23개 지역의 다양한 소셜 네트워크에 게시한 광고를 통해서 전문 개발자 및 일하는 학생을 대상으로 한 설문조사와 여러 동료의 추천을 통해 실시한 설문조사를 통하여 데이터를 수집하였습니다. 다음으로 해당 23개 지역 개발자의 모집단 추정치에 따라 모든 응답에 가중치를 적용했습니다. 이러한 과정을 거쳐 응답 분포가 각 국가의 전문 개발자 수의 추정치에 부합하도록 만들었습니다.

가중치 적용 두 번째 단계: 현재 재직 중인 개발자와 미취업 개발자의 비율

두 번째 단계에서는 유일하게 적용할 수 있는 모집단 추정방법인 전년도의 방법론과 일관성을 유지하기 위하여 모든 국가의 학생과 무직인 응답자(동일한 외부 광고 캠페인을 통해 응답한)의 비율을 17%로 설정했습니다.

결과적으로 국가 및 고용 상태에 따라 가중치를 적용한 외부 데이터 소스를 통해 19,281개의 응답을 구성하였습니다.

가중치 적용 세 번째 단계: 고용 상태, 프로그래밍 언어, JetBrains 제품 사용

세 번째 단계는 연립 방정식을 통해 얻은 계산이 포함된 더욱 정교한 과정이었습니다. 가중치가 적용된 19,281개의 응답을 사용하여, 각 지역 개발자의 고용 상태에 추가로 30개 이상의 프로그래밍 언어별 점유율, "현재 JetBrains 제품을 사용하고 있습니다" 및 "JetBrains나 해당 제품에 관해 들어본 적이 없습니다"라고 응답한 사람의 비율을 계산하여 연립 방정식의 상수로 사용했습니다.

다음 단계는 기타 출처에서 수집한 응답 그룹 2개인 JetBrains 소셜네트워크 계정, 연구 패널과 같은 JetBrains 내부 커뮤니케이션 채널을 통한 그룹과 특정 프로그래밍 언어 사용자를 대상으로 한 소셜네트워크 광고 캠페인 그룹을 추가하는 것이었습니다. 이를 통해 12,462개의 응답을 추가로 수집하였으며 이 비율을 동일하게 유지하기 위해 추가 응답에 가중치를 부여했습니다.

30개 이상의 선형 연립 방정식과 부등식 풀기

다음과 같이 기술된 30개 이상의 선형 연립 방정식 및 부등식을 구성했습니다:

응답자에 대한 가중 계수(예: 표본의 Fiona는 평균적으로 프랑스 소프트웨어 개발자 180명을 대표합니다).
해당 응답의 특정 값(Pierre는 C++를 사용하는 전일제 근무자로, JetBrains에 대해 들어본 적이 없음).
응답자의 필수 비율(예: 개발자 중 27%가 지난 12개월간 C++을 사용 등)

가중 계수의 최소 분산으로(아주 중요!) 이 연립 방정식을 해결하기 위해 Goldfarb와 Idnani의 쌍대방법 (dual method, 1982, 1983)을 사용했습니다. 이는 응답자에 대한 최적의 개별 가중 계수를 맞추는 데 도움이 되었습니다.

여전히 존재하는 편차

이러한 조치들에도 불구하고 JetBrains 사용자들은 평균적으로 더 적극적으로 이 설문조사에 참가하였기 때문에 일부 편향이 존재할 수 있습니다.

또한 커뮤니티 에코시스템도 발전하고 있으며, 단계적 가중치와 여러 노력에도 불구하고 데이터 변동이 존재할 수 있습니다. 예를 들어, Kotlin 언어의 전체 점유율에는 변화가 없었음에도, JVM 애플리케이션을 컴파일하는 Kotlin 사용자의 점유율은 증가했는데, 이는 응답자 중 Kotlin/JVM 사용자가 많기 때문일 수 있습니다.

앞으로도 가중치 적용 방법론을 지속적으로 업데이트하고 개선할 예정입니다. DevEco 2022 조사 결과도 기대해 주세요!

이전 페이지