업계: 소프트웨어 개발

사용한 JetBrains 제품: Datalore

조직 규모: 100+

국가: 대한민국

Drama & Company 소개

"비즈니스 기회를 연결"하는 데 집중하는 IT 기업인 Drama & Company는 채용 업계에서 Remember라는 플래그십 앱으로 파란을 일으켰습니다. 한국에서 450만 명이 사용하고 있는 Remember는 이 회사가 데이터를 활용하여 비즈니스 기회를 창출한다는 방증입니다.

Drama & Company가 Datalore로 데이터 리서치 속도를 80% 높인 방법

데이터 결과물을 전달하는 과정 개선이라는 과제를 해결

Drama & Company는 명함 정보, 채용 기록, 연구 수치 및 광고 지표 등을 포함한 다양한 사용자 데이터를 보유하고 있습니다. 이런 방대한 데이터를 처리하는 데는 당연하게도 상당한 어려움이 따릅니다.

"앱에서 계정을 생성할 때 사용자는 몇 가지 개인 정보만 입력합니다. 앱 사용자에게 더 나은 가치를 제공하려면 다른 소스를 활용하여 사용자 프로필을 보충해야 합니다. 따라서 데이터를 연구, 처리, 정제 및 전달하기 위한 빠르고 신뢰할 수 있는 프로세스가 필요합니다."

— 이영래, Drama & Company 빅데이터 센터 팀장

이전에 이 회사에서는 데이터 리서치용으로 독립형 Jupyter 서버를 사용했습니다. 그러나 이 환경에서는 특히 연구자가 대량의 컴퓨팅 리소스를 사용할 때 성능 문제가 곧잘 발생했습니다. 연구 결과를 데이터 파이프라인으로 보내거나 연구자가 작성한 코드를 배포하는 등의 작업 및 기타 유사한 작업을 진행하기가 어렵고 시간도 많이 들었습니다.

Drama & Company는 이 당면 과제를 해결하려면 더 강력하고 확장성이 있는 데이터 과학 플랫폼이 필요하다는 사실을 깨달았습니다. Drama & Company의 빅데이터 팀에게는 두 가지 주요 목표가 있었습니다. 첫 번째 목표는 데이터의 품질을 개선하고 범위를 넓히는 것이었습니다. 두 번째 목표는 사업 전체에서 데이터 활용도를 높여 조직의 경쟁력을 높이는 것이었습니다.

이 회사가 새로운 데이터 과학 플랫폼에 요구한 사항은 다음과 같습니다.

  1. Amazon Glue, Amazon Athena, Amazon S3 및 Amazon AuroraDB를 포함한 AWS상의 데이터 엔지니어링 인프라에 쉽게 액세스.
  2. Git과 데이터 엔지니어를 활용하기 어려워하는 연구자도 원활하게 코드 검토.
  3. 협업을 강화하기 위해 각 연구자에게 맞춰진 개인화된 업무 환경.
  4. 안전한 인증 프로세스로 온프레미스 설치 지원.
  5. 브라우저 상태에 관계없이 작업이 계속 실행되도록 하는 시스템.

Drama & Company는 다양한 옵션을 검토한 후 Datalore를 선택했습니다. Datalore는 SSO 인증을 포함하여 온프레미스에 설치하여 이용할 수 있었으며, AWS 데이터 소스 통합을 지원하고, 손쉬운 Notebook 버전 관리 기능이 포함되어 있었고, 팀 작업 공간과 Notebook에서 실시간으로 협업을 할 수 있었을 뿐만 아니라 브라우저가 꺼진 상태에서도 Notebook을 실행할 수 있는 백그라운드 컴퓨팅 옵션도 있었습니다. 게다가 JetBrains는 이미 Drama & Company가 신뢰하고 있는 제공업체였습니다.

Datalore로 협업과 시너지 효과 강화

Drama & Company는 Datalore를 통해 데이터 연구 및 관리를 개선했습니다. Drama & Company에서 협업은 매우 중요합니다. Drama & Company에는 데이터 계획 및 엔지니어링, 데이터 신뢰도 엔지니어링, 비즈 카드, 데이터 플랫폼 엔지니어링이라는 4개의 팀이 있습니다. 각 팀에는 고유한 역할이 있으나 서로 긴밀하게 협업합니다.

"Datalore의 직관적인 인터페이스와 강력한 기능을 통해 데이터세트를 편리하게 탐색하고 분석할 수 있습니다. 덕분에 생산성이 올라가고 팀 전체가 정보를 기반으로 의사 결정을 내릴 수 있습니다.

— 김여진, Drama & Company 데이터 엔지니어

Drama & Company에서 사용되는 주요 Datalore 기능:

  • Amazon Glue, Athena, S3 및 AuroraDB를 지원하는 노코드 데이터 연결.

  • 하나의 Jupyter Notebook에서 SQL과 Python을 조합해서 사용.

  • 통합 버전 관리.

  • 실시간 협업 및 Notebook 및 작업 공간 공유.

  • 온프레미스 설치 및 SSO 인증.

  • Notebook 스케줄링 및 백그라운드 컴퓨팅.

드라마앤컴퍼니에서 Datalore를 사용하는 워크플로는 아래와 같습니다.

  1. 우선, 프로젝트가 시작되자마자 연구자와 데이터 엔지니어가 모여 별도의 작업 공간을 생성하고 연구 목적과 방법을 조정합니다.
  2. 둘째, 데이터 엔지니어가 프로젝트 작업 공간 내에 필요한 SQL 데이터베이스와 S3 버킷을 사용하여 필수 데이터 분석 환경을 구축합니다.
  3. "Amazon Glue, Athena, S3 및 AuroraDB와 노코드 연동을 지원할 뿐만 아니라 SQL과 Python을 하나의 Notebook에서 조합할 수 있어서 데이터 조회, 검증 및 재처리에 필요한 리소스를 줄이고 연구 속도를 높일 수 있었습니다."

    — 이영래, Drama & Company 빅데이터 센터 팀장

  4. 셋째, 연구자가 Datalore Notebook에서 데이터를 분석하고 데이터 엔지니어에게 연구를 전달하여 코드 검토를 받습니다. 데이터 엔지니어가 연구자와 협업하여 필요에 따라 실시간으로 코드를 변경 혹은 수정합니다. 이러한 프로세스에서 연구자는 학습 기회를 얻을 수 있으며, 코드를 개선하여 데이터 인프라를 효율화할 수 있습니다.

  5. 마지막으로 분석된 데이터가 프로덕션 환경으로 바로 전송되어야 하는 경우, 데이터 엔지니어가 Notebook 파일을 다운로드 받고 파이프라인을 처리합니다. 데이터에 추가 검증이 필요하면 연구자가 Datalore의 Scheduling(스케줄링) 기능을 사용하여 좀 더 긴 시간 동안 새로운 데이터 청크로 Notebook을 테스트합니다.

"저희 팀에서 느끼는 Datalore의 장점 중 하나는 Jupyter와는 달리 브라우저에서 나가더라도 멈추지 않는다는 점입니다. 백그라운드에서 무거운 Notebook 컴퓨팅이 계속되기 때문에 걱정 없이 작업물을 닫을 수 있어요."

— 이영래, Drama & Company 빅데이터 센터 팀장

결과

실현된 주요 이점:

50%

협업 개선으로 공동 작업에 소요되는 시간 단축.

80%

분석 전달 속도 개선.

Datalore를 도입한 후 팀의 효율이 크게 증가했습니다. 특히 다양한 소규모 데이터 팀 간의 협업이 개선되어 공동 업무에 드는 시간이 50% 이상 단축되었습니다. 원활한 데이터 통합, 개선된 코드 검토 및 빨라진 반복 처리 주기 덕분에 데이터 분석 속도가 80% 올라가 팀원의 전반적 역량이 크게 향상되었습니다.

"Datalore 덕분에 팀과 더 효율적으로 협업할 수 있게 되었습니다. Datalore는 데이터와 코드를 공유하고 분석하는 데 탁월하여 원활하게 협업하고 검토할 수 있습니다. 이전의 도구와 달리 Datalore에서는 Notebook을 여러 시트로 나눌 수 있습니다. 이 기능 덕분에 구분된 시트에서 데이터 처리를 단계별로 작업하여 분석 보고서의 가독성과 구조를 크게 개선할 수 있었습니다."

— 임예은, Drama & Company 데이터 엔지니어

Drama & Company는 명함 정보, 채용 기록, 연구 수치 및 광고 지표 등을 포함한 다양한 사용자 데이터를 보유하고 있습니다. 이런 방대한 데이터를 처리하는 데는 당연하게도 상당한 어려움이 따릅니다.

"저희와 비슷한 고민이 있는 회사가 적지 않을 것 같아요. 앞으로 많은 회사가 분석부터 데이터 개발까지 Datalore로 협업을 강화하고 간소화하면서 노하우를 공유하면 좋겠습니다."

— 이영래, Drama & Company 빅데이터 센터 팀장

유사한 고객 후기

Constellation Software

Nauman Hafiz, Constellation CTO

데이터 과학의 운영을 확장하고 고객과 내부 이해관계자 모두에게 귀중한 인사이트를 제공하기 위해 Constellation은 협업을 간소화하고 민첩성을 향상할 수 있는 방법이 필요했습니다. 기존의 비즈니스 인텔리전스 도구(특히 Power BI 및 Looker)는 느린 보고서 생성 및 단절된 워크플로와 같은 문제로 인해 맞춤화된 인사이트를 시기적절하게 생성하지 못했습니다.

LINE Corporation

천성덕, LINE Corporation 선임 관리자

평가 과정에서 사내 개발자들이 Datalore의 UX를 친숙해 하고 보고서 공유 기능이 사용하기 쉽다는 것을 알게 되었습니다. 그리고 엔지니어링 팀과 Datalore 개발 팀의 협력 덕분에 워크플로 및 데이터 거버넌스 요구 사항을 충족할 수 있었습니다.

Ometria

Regeane, Ometria 제품 관리자

작년에 저희 팀은 Datalore의 도움으로 획기적인 전환의 계기를 마련했습니다. 바로 Datalore의 강력한 기능을 통해 소매업 인텔리전스 서비스를 한 단계 발전시킨 것입니다. 저희 고객 성공 팀은 내부 서비스와 맞춤형 데이터 보고서의 개발을 통해 인사이트를 매우 신속하게 제공하여 고객에게 큰 혜택을 돌려 드렸습니다. 이는 지난 한 해 동안 팀이 거둔 가장 큰 성과 중 하나입니다.

고객 후기 더보기