가동 중단 시간이 0인 데이터 과학 플랫폼 - neXDos는 Datalore를 이용하면 가능하다고 생각합니다
neXDos는 주식 시장 API에서부터 사내 PostgreSQL 데이터에 이르기까지 다양한 데이터 소스에 크게 의존합니다. 이전에 neXDos는 JupyterLab and JupyterHub를 호스팅하여 회사의 거래 알고리즘을 프로토타입으로 생성하고 백테스트를 수행하며 미래에 대비했습니다. 그러나 서버 환경 관리, 잦은 업데이트 및 JupyterLab 내의 연관 플러그인 처리와 같이 여러 영역의 복잡성 때문에 이러한 방식은 문제가 많았습니다.
"Kubernetes 클러스터에 JupyterHub를 호스팅하면 정기 업그레이드를 관리하고 수많은 플러그인을 설치하고 관리해야 하는 복잡성이 생기므로 작업이 어려워집니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
보안 요구 사항과 독일의 엄격한 데이터 보호 규정으로 인해 추가적인 복잡성이 발생하면서 neXDos의 작업을 베어 메탈 서버에 호스팅할 필요가 있었습니다. 규정을 준수하려면 사용자 권한 및 액세스 관리도 매우 중요했습니다. 이에 따라 맞춤형 LDAP 인증 스크립트를 개발해야 했으며, 이 프로세스는 특히 인턴에게 특정 데이터에 대한 임시 액세스를 부여할 때 복잡한 보안 위험을 일으켰습니다.
"액세스 권한 관리가 매우 어려웠고 특히 인턴에게 임시 권한을 줄 때 문제가 되었습니다. 액세스 권한을 부여했다가 나중에 파기하는 과정에서 생기는 보안 우려도 있었습니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
이러한 문제에 당면한 neXDos에는 기술적인 요구 사항을 충족할 솔루션이 필요했습니다.
neXDos는 온프레미스 설치, 내장된 SSO 인증 및 간소화된 협업, Jupyter Notebook 내에서의 권한 관리를 지원하며 자사의 요구 사항을 충족하는 Datalore에 주목했습니다.
"Datalore의 간단한 워크플로 덕분에 전략 프로토타입에서 테스트, 배포까지 손쉽게 진행할 수 있었습니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
Datalore를 데이터 과학 플랫폼으로 도입한 neXDos는 다음의 워크플로 단계에서 효율성을 증진했습니다.
"Datalore의 코딩 지원 기능은 생산성을 크게 높였습니다. 덕분에 프로토타입을 빠르게 생성할 수 있었고 Python과 SQL로 코딩하기도 훨씬 쉬워졌습니다."
— Henry Eitel, neXDos의 소프트웨어 엔지니어
이전
8
월간 가동 중단 시간
Kubernetes 클러스터에 호스팅된 오픈 소스 JupyterHub/JupyterLab 사용 시
이후
0
월간 가동 중단 시간
Kubernetes 클러스터에 호스팅된 Datalore Enterprise 사용 시
"Datalore는 안정적인 플랫폼이었고, 협업, 효율성 및 데이터 보안 사이에서 균형을 잡을 수 있게 도움을 주었습니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
neXDos는 Datalore를 주 데이터 과학 플랫폼으로 구현하여 성능과 생산성을 개선하였습니다. 거래 전략의 프로토타입 생성, 백테스트 실행 및 배포가 더욱 효율화되었습니다.
"Datalore의 협업 워크플로와 통합 환경, 권한 및 데이터 관리 덕분에 투자 전략의 프로토타입 생성부터 테스트와 실제 배포까지 가는 과정이 훨씬 빨라졌습니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
Datalore의 안정성 역시 neXDos에 도움이 되었습니다. 서비스 가동 중단이 한 건도 발생하지 않아 neXDos는 중단 없이 운영하며 생산성을 높였습니다.
"Datalore의 무중단 서비스와 손쉬운 업그레이드 덕분에 안심할 수 있었고 사내 스택의 도구를 줄일 수 있었습니다."
— Henry Eitel, neXDos의 소프트웨어 엔지니어
Datalore의 또 다른 장점은 강력한 권한 관리 기능입니다. neXDos는 이를 활용해 몇몇 프로젝트에 인턴을 배정할 수 있었습니다.
"Datalore의 강력한 권한 관리를 사용하여 엄격한 데이터 보안 요구 사항을 모두 충족하면서도 인턴을 프로젝트에 투입할 수 있었습니다."
— Steffen Möllenhoff 박사, neXDos의 관리 파트너
이영래, Drama & Company 빅데이터 센터 팀장
Datalore를 채택하기 전 Drama & Company는 데이터 리서치용으로 독립형 Jupyter 서버를 사용했습니다. 그러나 이 환경에서는 성능 문제가 곧잘 발생했습니다. 연구 결과를 데이터 파이프라인으로 보내거나 연구자가 작성한 코드를 배포하는 등의 작업 및 기타 유사한 작업을 진행하기가 어렵고 시간도 많이 들었습니다. Drama & Company는 이보다 더 강력하며 확장이 가능한 데이터 과학 플랫폼이 필요하다는 사실을 깨달았습니다.
Nauman Hafiz, Constellation CTO
데이터 과학의 운영을 확장하고 고객과 내부 이해관계자 모두에게 귀중한 인사이트를 제공하기 위해 Constellation은 협업을 간소화하고 민첩성을 향상할 수 있는 방법이 필요했습니다. 기존의 비즈니스 인텔리전스 도구(특히 Power BI 및 Looker)는 느린 보고서 생성 및 단절된 워크플로와 같은 문제로 인해 맞춤화된 인사이트를 시기적절하게 생성하지 못했습니다.
천성덕, LINE Corporation 선임 관리자
평가 과정에서 사내 개발자들이 Datalore의 UX를 친숙해 하고 보고서 공유 기능이 사용하기 쉽다는 것을 알게 되었습니다. 그리고 엔지니어링 팀과 Datalore 개발 팀의 협력 덕분에 워크플로 및 데이터 거버넌스 요구 사항을 충족할 수 있었습니다.