Drama & Company는 명함 정보, 채용 기록, 연구 수치 및 광고 지표 등을 포함한 다양한 사용자 데이터를 보유하고 있습니다. 이런 방대한 데이터를 처리하는 데는 당연하게도 상당한 어려움이 따릅니다.
"앱에서 계정을 생성할 때 사용자는 몇 가지 개인 정보만 입력합니다. 앱 사용자에게 더 나은 가치를 제공하려면 다른 소스를 활용하여 사용자 프로필을 보충해야 합니다. 따라서 데이터를 연구, 처리, 정제 및 전달하기 위한 빠르고 신뢰할 수 있는 프로세스가 필요합니다."
— 이영래, Drama & Company 빅데이터 센터 팀장
이전에 이 회사에서는 데이터 리서치용으로 독립형 Jupyter 서버를 사용했습니다. 그러나 이 환경에서는 특히 연구자가 대량의 컴퓨팅 리소스를 사용할 때 성능 문제가 곧잘 발생했습니다. 연구 결과를 데이터 파이프라인으로 보내거나 연구자가 작성한 코드를 배포하는 등의 작업 및 기타 유사한 작업을 진행하기가 어렵고 시간도 많이 들었습니다.
Drama & Company는 이 당면 과제를 해결하려면 더 강력하고 확장성이 있는 데이터 과학 플랫폼이 필요하다는 사실을 깨달았습니다. Drama & Company의 빅데이터 팀에게는 두 가지 주요 목표가 있었습니다. 첫 번째 목표는 데이터의 품질을 개선하고 범위를 넓히는 것이었습니다. 두 번째 목표는 사업 전체에서 데이터 활용도를 높여 조직의 경쟁력을 높이는 것이었습니다.
이 회사가 새로운 데이터 과학 플랫폼에 요구한 사항은 다음과 같습니다.
Drama & Company는 다양한 옵션을 검토한 후 Datalore를 선택했습니다. Datalore는 SSO 인증을 포함하여 온프레미스에 설치하여 이용할 수 있었으며, AWS 데이터 소스 통합을 지원하고, 손쉬운 Notebook 버전 관리 기능이 포함되어 있었고, 팀 작업 공간과 Notebook에서 실시간으로 협업을 할 수 있었을 뿐만 아니라 브라우저가 꺼진 상태에서도 Notebook을 실행할 수 있는 백그라운드 컴퓨팅 옵션도 있었습니다. 게다가 JetBrains는 이미 Drama & Company가 신뢰하고 있는 제공업체였습니다.
Drama & Company는 Datalore를 통해 데이터 연구 및 관리를 개선했습니다. Drama & Company에서 협업은 매우 중요합니다. Drama & Company에는 데이터 계획 및 엔지니어링, 데이터 신뢰도 엔지니어링, 비즈 카드, 데이터 플랫폼 엔지니어링이라는 4개의 팀이 있습니다. 각 팀에는 고유한 역할이 있으나 서로 긴밀하게 협업합니다.
"Datalore의 직관적인 인터페이스와 강력한 기능을 통해 데이터세트를 편리하게 탐색하고 분석할 수 있습니다. 덕분에 생산성이 올라가고 팀 전체가 정보를 기반으로 의사 결정을 내릴 수 있습니다.
— 김여진, Drama & Company 데이터 엔지니어
Drama & Company에서 사용되는 주요 Datalore 기능:
Amazon Glue, Athena, S3 및 AuroraDB를 지원하는 노코드 데이터 연결.
하나의 Jupyter Notebook에서 SQL과 Python을 조합해서 사용.
통합 버전 관리.
실시간 협업 및 Notebook 및 작업 공간 공유.
온프레미스 설치 및 SSO 인증.
Notebook 스케줄링 및 백그라운드 컴퓨팅.
드라마앤컴퍼니에서 Datalore를 사용하는 워크플로는 아래와 같습니다.
"Amazon Glue, Athena, S3 및 AuroraDB와 노코드 연동을 지원할 뿐만 아니라 SQL과 Python을 하나의 Notebook에서 조합할 수 있어서 데이터 조회, 검증 및 재처리에 필요한 리소스를 줄이고 연구 속도를 높일 수 있었습니다."
— 이영래, Drama & Company 빅데이터 센터 팀장
셋째, 연구자가 Datalore Notebook에서 데이터를 분석하고 데이터 엔지니어에게 연구를 전달하여 코드 검토를 받습니다. 데이터 엔지니어가 연구자와 협업하여 필요에 따라 실시간으로 코드를 변경 혹은 수정합니다. 이러한 프로세스에서 연구자는 학습 기회를 얻을 수 있으며, 코드를 개선하여 데이터 인프라를 효율화할 수 있습니다.
"저희 팀에서 느끼는 Datalore의 장점 중 하나는 Jupyter와는 달리 브라우저에서 나가더라도 멈추지 않는다는 점입니다. 백그라운드에서 무거운 Notebook 컴퓨팅이 계속되기 때문에 걱정 없이 작업물을 닫을 수 있어요."
— 이영래, Drama & Company 빅데이터 센터 팀장
실현된 주요 이점:
50%
협업 개선으로 공동 작업에 소요되는 시간 단축.
80%
분석 전달 속도 개선.
Datalore를 도입한 후 팀의 효율이 크게 증가했습니다. 특히 다양한 소규모 데이터 팀 간의 협업이 개선되어 공동 업무에 드는 시간이 50% 이상 단축되었습니다. 원활한 데이터 통합, 개선된 코드 검토 및 빨라진 반복 처리 주기 덕분에 데이터 분석 속도가 80% 올라가 팀원의 전반적 역량이 크게 향상되었습니다.
"Datalore 덕분에 팀과 더 효율적으로 협업할 수 있게 되었습니다. Datalore는 데이터와 코드를 공유하고 분석하는 데 탁월하여 원활하게 협업하고 검토할 수 있습니다. 이전의 도구와 달리 Datalore에서는 Notebook을 여러 시트로 나눌 수 있습니다. 이 기능 덕분에 구분된 시트에서 데이터 처리를 단계별로 작업하여 분석 보고서의 가독성과 구조를 크게 개선할 수 있었습니다."
— 임예은, Drama & Company 데이터 엔지니어
Drama & Company는 명함 정보, 채용 기록, 연구 수치 및 광고 지표 등을 포함한 다양한 사용자 데이터를 보유하고 있습니다. 이런 방대한 데이터를 처리하는 데는 당연하게도 상당한 어려움이 따릅니다.
"저희와 비슷한 고민이 있는 회사가 적지 않을 것 같아요. 앞으로 많은 회사가 분석부터 데이터 개발까지 Datalore로 협업을 강화하고 간소화하면서 노하우를 공유하면 좋겠습니다."
— 이영래, Drama & Company 빅데이터 센터 팀장
Nauman Hafiz, Constellation CTO
데이터 과학의 운영을 확장하고 고객과 내부 이해관계자 모두에게 귀중한 인사이트를 제공하기 위해 Constellation은 협업을 간소화하고 민첩성을 향상할 수 있는 방법이 필요했습니다. 기존의 비즈니스 인텔리전스 도구(특히 Power BI 및 Looker)는 느린 보고서 생성 및 단절된 워크플로와 같은 문제로 인해 맞춤화된 인사이트를 시기적절하게 생성하지 못했습니다.
천성덕, LINE Corporation 선임 관리자
평가 과정에서 사내 개발자들이 Datalore의 UX를 친숙해 하고 보고서 공유 기능이 사용하기 쉽다는 것을 알게 되었습니다. 그리고 엔지니어링 팀과 Datalore 개발 팀의 협력 덕분에 워크플로 및 데이터 거버넌스 요구 사항을 충족할 수 있었습니다.
Regeane, Ometria 제품 관리자
작년에 저희 팀은 Datalore의 도움으로 획기적인 전환의 계기를 마련했습니다. 바로 Datalore의 강력한 기능을 통해 소매업 인텔리전스 서비스를 한 단계 발전시킨 것입니다. 저희 고객 성공 팀은 내부 서비스와 맞춤형 데이터 보고서의 개발을 통해 인사이트를 매우 신속하게 제공하여 고객에게 큰 혜택을 돌려 드렸습니다. 이는 지난 한 해 동안 팀이 거둔 가장 큰 성과 중 하나입니다.