데이터 과학의 운영을 확장하고 고객과 내부 이해관계자 모두에게 귀중한 인사이트를 제공하기 위해 Constellation은 협업을 간소화하고 민첩성을 향상할 수 있는 방법이 필요했습니다. 기존의 비즈니스 인텔리전스 도구(특히 Power BI 및 Looker)는 느린 보고서 생성 및 단절된 워크플로와 같은 문제로 인해 맞춤화된 인사이트를 시기적절하게 생성하지 못했습니다. 동시에 이들은 선택한 클라우드 공급자인 AWS와 원활하게 통합할 수 있는 솔루션도 찾고 있었습니다.
"저희는 한 가지 질문에 직면했습니다. 바로, "Constellation의 여러 부서의 팀이 원활하게 협력할 수 있는 방법을 무엇인가?"라는 것이었습니다. Datalore를 채택하기 전에는 각 엔지니어가 로컬 Jupyter Notebook에서 개별적으로 작업했습니다. 이 과정에서 공동 작업자들이 각각 반복 처리한 후에 이러한 문서를 다운로드하고 공유해야 했기 때문에 클라우드 서비스가 주먹구구식으로 운영되었습니다. 이로 인해 속도가 저하되고 확장성이 제한되며 권한 부여를 제대로 관리할 수 없었습니다."
— Nauman Hafiz, Constellation CTO
데이터, 고객 성공, 제품 관리 팀을 연결하여 인사이트 제공 속도를 높일 수 있는 협력적이고 직관적인 데이터 과학 플랫폼이 해결책입니다.
"Tableau와 Power BI는 사용자 친화적이긴 하지만 업무를 다수의 엔지니어들에게 분배할 때 어려움이 있습니다. Looker는 Git과의 통합이 더 낫긴 하지만 여전히 협업, 업무 유연성, 기능성 및 시각적인 매력 측면에서 부족합니다. 이러한 도구는 혁신과 협업을 최대화하려는 중간 규모의 팀을 지원하기에는 적절하지 않습니다."
— Yusuf Khan, Constellation 데이터 과학 AVP
Datalore는 Constellation 팀의 협업 방식을 혁신하여 이전에 분산되어 있던 분석 워크플로를 단일 도구로 통합했습니다.
Datalore를 사용한 일반적인 Constellation 워크플로는 다음과 같습니다.
데이터 엔지니어는 Snowflake 데이터베이스의 정보를 Datalore Notebook으로 가져옵니다. 그런 다음 Python 코드로 전환하고 다양한 타사 API의 데이터를 계층화하기 전에 SQL을 사용하여 필요한 데이터를 Datalore에 연결합니다. 데이터 엔지니어는 이 데이터를 통합하고 구조화한 후 Datalore Notebook 링크를 데이터 과학자에게 보냅니다. 그러면 데이터 과학자는 Notebook으로 이동하여 인사이트 도출, 시각화 생성, 모델링 등의 작업을 시작합니다.
초기 데이터 스캐폴딩은 데이터 엔지니어링 프로세스 중 필수적인 부분이며 제품 팀이 이해한 고객의 요구 사항과 밀접하게 맞춰져 있습니다. Datalore를 통해 저희가 사용하는 데이터 웨어하우스인 Snowflake를 더 큰 시스템에 손쉽게 통합할 수 있었고, 이 작업에서 그 간편함이 핵심적 역할을 했습니다. 덕분에 데이터 처리 방식을 간소화하고 중앙화할 수 있었습니다."
— Hammad Chaudhry, Constellation 데이터 엔지니어
데이터 과학자가 첫 번째 반복 처리를 완료하면, 비즈니스 중심 평가를 위해 제품 관리 및 고객 성공 팀에서 반복 처리를 진행합니다. 초기 검토 후 팀은 반복 처리를 개선할지, 또 다른 반복 처리를 진행할지, 아니면 Notebook을 최종 사용자를 위한 대화형 Datalore 보고서로 변환할지 결정합니다.
"Datalore는 중동, 남미, 북미에 분산되어 있는 원격 팀을 이어주는 역할을 합니다."
— Yusuf Khan, Constellation 데이터 과학 AVP
“Datalore는 더 넓은 에코시스템으로 연결되는 포털 역할을 합니다. 더 빠르게 움직일 수 있도록 도와주는 기본 도구를 제공하죠. 이는 제작자가 상상한 범위로만 제한되는 다른 많은 폐쇄형 시스템 플랫폼과 대조됩니다.”
— Mingwei Sun, Constellation 데이터 과학자
Constellation에서 사용하는 주요 Datalore 기능은 다음과 같습니다.
Snowflake 통합 및 SQL 셀 지원
Jupyter Notebook 및 보고서의 실시간 협업 및 공유
팀 작업 공간
대화형 보고서
보고서 일정 관리
Jupyter Notebook을 사용자 친화적인 대화형 데이터 스토리로 쉽게 전환할 수 있게 해주는 Datalore의 보고서 빌더도 Constellation에서 높게 평가 받았습니다. 보고서 빌더를 사용하면 코드 셀을 숨기고, Markdown 셀을 구성하고, 차트를 배치하고, 보고서 캔버스에 대화형 컨트롤을 추가할 수 있으므로 Constellation에서 데이터 설명을 완전히 제어하고 이전에는 사용할 수 없었던 오픈 소스 기술과 프레임워크를 활용할 수 있습니다.
"Datalore의 대화형 보고서를 통해 빠르게 프로토타입을 배포하고 막힘없이 복잡한 데이터를 설명할 수 있습니다. 비기술 팀 구성원이 갖고 있던 데이터에 관한 오해를 획기적으로 없앴으며, 구성원들이 이전 보고 방법으로는 달성할 수 없는 수준의 이해도를 달성했습니다."
— Smit Shah, Constellation 기술 프로젝트 부 관리자
"Datalore의 민첩성은 고객 보고 측면에서 매우 중요합니다. 고객의 요구 사항은 업계와 목표에 따라 매우 다양하여 표준 템플릿 보고서로는 충족하기 어렵습니다."
— Ethan Lee, Constellation 데이터 분석가
실현된 주요 이점:
더 빠른 결과
Constellation, 데이터 과학 R&D 작업을 50% 더 빠르게 완료
효율성 향상
고도로 맞춤화된 보고서가 이제 몇 달이 아닌 몇 주 만에 고객에게 전달됩니다.
만족도 증가
개발자와 클라이언트 모두 Datalore 덕분에 작업 방식이 훨씬 더 만족스러워졌다고 말합니다.
기존 BI 도구 내에서는 완료하는 데 수개월이 걸렸던 이니셔티브를 Constellation은 이제 Datalore 덕분에 몇 주 만에 완료할 수 있습니다. JetBrains의 협업 데이터 과학 플랫폼을 사용한 후로 Constellation 전반에 걸쳐 운영 효율성이 눈에 띄게 향상되었습니다.
"개발 시간이 크게 줄었으며, 50% 이상 단축되는 경우가 많습니다."
— Michael Donovan, Constellation 수석 프로젝트 관리자
Constellation은 데이터 과학 작업 공간을 Datalore에 중앙 집중화함으로써 사일로를 허물고 중복된 워크플로를 없앴습니다. 이 플랫폼의 협업 기능 덕분에 원격 팀이 서로 소통하고 피드백 루프를 단축하여 더 빠르게 반복 처리할 수 있게 되었습니다.
"Datalore의 진정한 가치는 팀을 연결하고, 간결한 의사 소통과 전체 협업이 가능한 공유 작업 공간을 만들어 준다는 데 있습니다."
— Hammad Chaudhry, Constellation 데이터 엔지니어
앞으로 Constellation은 플랫폼의 보고서 예약 기능을 확장하여 Datalore를 프로세스에 더 심층적으로 통합할 계획입니다. 또한 내부 교육을 강화하고 회사의 빠른 성장에 보조를 맞추기 위한 방법으로 Datalore를 사용할 계획입니다.
"Datalore를 사내 교육 리소스로 활용할 계획입니다. 이렇게 하면 경험이 부족한 직원들에게 구조화된 모듈을 제공해 시스템을 점진적으로 소개할 수 있습니다."
— Michael Donovan, Constellation 수석 프로젝트 관리자
"Datalore를 통해 팀 내 숙련된 데이터 과학자와 엔지니어분들과 직접 협업할 수 있었습니다. 덕분에 제 직무에서 더 쉽게 성장하고 발전할 수 있었습니다."
— Rachel Hui, Constellation 마케팅 데이터 분석가
Regeane, Ometria 제품 관리자
작년에 저희 팀은 Datalore의 도움으로 획기적인 전환의 계기를 마련했습니다. 바로 Datalore의 강력한 기능을 통해 소매업 인텔리전스 서비스를 한 단계 발전시킨 것입니다. 저희 고객 성공 팀은 내부 서비스와 맞춤형 데이터 보고서의 개발을 통해 인사이트를 매우 신속하게 제공하여 고객에게 큰 혜택을 돌려 드렸습니다. 이는 지난 한 해 동안 팀이 거둔 가장 큰 성과 중 하나입니다.
Moreno Raimondo Vendra, TrueLayer 수석 머신러닝 엔지니어
Datalore을 이용해 보안 요구 사항을 충족하면서 인체 공학적으로 데이터에 액세스할 수 있게 되었고, 이는 획기적인 전환점이 되었습니다. 그 결과, 머신러닝 팀 내에서뿐만 아니라 다른 관련자와도 훨씬 더 쉽게 협업할 수 있었습니다.
천성덕, LINE Corporation 선임 관리자
평가 과정에서 사내 개발자들이 Datalore의 UX를 친숙해 하고 보고서 공유 기능이 사용하기 쉽다는 것을 알게 되었습니다. 그리고 엔지니어링 팀과 Datalore 개발 팀의 협력 덕분에 워크플로 및 데이터 거버넌스 요구 사항을 충족할 수 있었습니다.