LINE Corporation

LINE이 Datalore를 새로운 데이터 분석 플랫폼으로 선택한 이유

LINE 소개

자기 소개를 부탁드려도 될까요?

제 이름은 천성덕이고 LINE Corporation에서 데이터 플랫폼 부서라는 조직을 이끄는 선임 관리자입니다. 저희의 사명은 데이터 사용을 보편화하고 사내 사용자가 데이터를 분석할 수 있는 플랫폼을 제공하는 것입니다.

LINE은 어떤 프로젝트에 참여하고 있나요?

저희는 전 세계에 1억 9,300만 MAU(월간 활성 사용자), 일본에 9,400만 MAU를 보유한 커뮤니케이션 애플리케이션인 'LINE'을 기반으로 미디어, 커머스, 핀테크 등 다양한 분야에서 서비스를 제공하고 있습니다.

데이터 플랫폼 부서는 LINE의 다양한 서비스에서 발생하는 데이터를 수집, 저장, 관리, 분석할 수 있는 플랫폼을 사용자에게 제공합니다. IU 또는 Information Universe라고 하는 이 플랫폼은 다양한 비즈니스 데이터를 담고 있는 전사적 데이터 인프라입니다.

해결해야 할 문제

Datalore 또는 대체 솔루션을 찾게 된 이유는 무엇인가요? 어떤 문제에 직면했었나요?

최근 몇 년간 사내에서 데이터 분석에 대한 수요가 증가했습니다. 특히 데이터 과학자와 머신 러닝 엔지니어로부터 Notebook 솔루션에 대한 요청이 단순한 쿼리 실행을 넘어 크게 늘어났습니다. 저희가 사용하던 사내 Notebook 솔루션인 OASIS에는 이러한 다양한 요구를 충족할 수 있는 개발 리소스가 부족했습니다.

그래서 새로운 Notebook 솔루션을 평가하기 시작했고 Datalore는 후보 중 하나였습니다.

평가 과정에서 사내 개발자들이 Datalore의 UX를 친숙해 하고 보고서 공유 기능이 사용하기 쉽다는 것을 알게 되었습니다.

그리고 엔지니어링 팀과 Datalore 개발 팀의 협력 덕분에 워크플로 및 데이터 거버넌스 요구 사항을 충족할 수 있었습니다.

• Spark의 클라이언트 모드 지원
• 기본 R 패키지 지원
• 감사 로깅 강화
• 보고서 및 작업 공간에 대한 세분화된 권한 관리

이러한 기능은 우리 회사에 매우 중요했기 때문에 데이터 과학 플랫폼으로 Datalore를 선택하기로 결정했습니다.

Datalore 경험

팀에서 누가 Datalore를 사용하나요?

LINE에 Datalore가 배포된 지 얼마 되지 않았음에도 불구하고, 2023년 3월 1일 현재 LINE 그룹 및 그룹사 내에서는 거의 절반의 데이터 분석 팀이 Datalore를 사용하고 있습니다. 또한 기쁘게도 데이터 엔지니어링 및 데이터 과학 외의 업무를 담당하는 이들까지 포함하면, 처음에 예상했던 것보다 훨씬 많은 사용자가 Datalore를 사용하고 있습니다. 궁극적으로, LINE 내 수백 명의 사용자가 Datalore를 사용하게 될 것으로 예상됩니다.

Datalore를 채택한 후 온보딩 프로세스가 달라졌나요?

우선, Datalore의 도입 장벽은 높지 않았습니다. 처음에는 사용자들이 질문을 조금 했었지만, 친숙한 UI/UX 덕분에 사내 솔루션인 OASIS 및 Jupyter를 사용하던 사람들은 쉽게 시작할 수 있었습니다.

둘째, 사용자에게 제기되는 가장 큰 과제는 Spark의 클라이언트 모드에서 작업을 실행하는 것이었는데, 개발 팀과 Datalore 지원 팀의 협력을 통해 이 문제를 해결할 수 있었습니다.

셋째, 권한 관리 측면에서 Datalore 제품 콘셉트와 LINE 데이터 거버넌스 간에 격차가 있었고 이로 인한 문제가 있었습니다. 다행히 Datalore 개발 팀과의 협력하여 논의한 끝에 이러한 격차를 해소하고 Datalore를 공식적으로 채택할 수 있었습니다.

어떤 종류의 데이터를 다루시나요? 작업 결과를 어떻게 공유하는지도 궁금합니다.

저희는 데이터 인프라를 제공하는 부서이기 때문에 데이터의 세부 내용은 알지 못합니다. IU(Information Universe)에 접근할 수 있는 사람들이 Datalore를 통해 데이터를 가져오고 분석합니다.

일반적으로 Datalore 보고서 링크를 조직 위키에 게시하여 작업 결과를 공유하는데, 이 보고 기능이 매우 유용합니다.

Datalore를 사용하여 LINE이 어떤 이점을 얻을 수 있다고 생각하시나요?

Datalore가 배포된 지 얼마 되지 않았기 때문에 회사가 얻은 수익 가치를 아직 수치적으로 평가하지는 않았습니다. 하지만 사내 데이터 과학 플랫폼에서 Datalore로 전환하기로 결정하면서 내부 개발 리소스에 여유가 생겼습니다. 또한 LINE 규정 준수 정책에 매우 중요한 데이터 거버넌스 요구 사항도 충족할 수 있었습니다.

Datalore의 Notebook 솔루션 도입으로 LINE 그룹 내 데이터 분석 담당자들의 데이터 기반 의사결정이 촉진될 것으로 기대합니다. 데이터 분석 결과가 LINE의 다양한 사업 부문에 원활하고 신속하게 배포될 수 있다면 PDCA 주기가 더욱 빨라지고 데이터 중심의 의사결정이 가능해 비즈니스에 기여할 수 있을 것입니다.