neXDos 社が Datalore でゼロダウンタイムのデータサイエンスプラットフォームを実現
neXDos 社は独自の投資戦略を提供するため、株式市場 API から社内 PostgreSQL データに至る多様なデータソースを使用しています。かつては JupyterLab と JupyterHub をホスティングすることで、取引アルゴリズムのプロトタイプ作成、バックテスト、および投資の保護を行っていました。しかし、この手法ではサーバー環境の管理、頻繫な更新の実施、JupyterLab 内の関連するプラグインの処理などの多方面にわたって複雑な作業が発生することが原因で問題が起きていました。
「Kubernete クラスターで JupyterHub をホスティングするのには大変苦労していました。定期的なアップグレードの管理や多数のプラグインのインストールと管理の複雑さがその主な原因でした」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
セキュリティ要件とドイツの厳しいデータ保護規制によってこの複雑さはさらに増大し、neXDos 社の運用をベアメタルサーバーでホスティングする必要が出てきました。コンプライアンスを維持するには、ユーザー権限とアクセス権の管理が不可欠でした。そのためにはカスタム LDAP 認証スクリプトの開発が必要でしたが、これは特にインターンに特定のデータへの一時的なアクセスを許可する場合には複雑なセキュリティリスクが生じるものでした。
「アクセス権の管理に関しては、特にインターン社員に一時的な権限を付与することに非常に苦労していました。アクセスを付与し、そのアクセスを後で無効にする運用は、多くの場合にセキュリティに関する懸念を生んでいました」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
このような課題に直面していた neXDos 社は、次のような技術要件を満たすソリューションを必要としていました。
neXDos 社はオンプレミスにインストール可能で、組み込みの SSO 認証を提供しており、Jupyter ノートブック内での効率的なコラボレーションと権限管理を可能にする Datalore が自社のニーズを満たしていると判断し、注目しました。
「Datalore の効率的なワークフローにより、戦略のプロトタイプ作成からテストとデプロイまでを簡単に行うことができました」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
neXDos 社は Datalore をデータサイエンスプラットフォームに採用することで、以下のワークフローのステップを効率化しました。
「Datalore のコーディング支援機能により、生産性が大幅に向上しました。迅速にプロトタイプを作成し、Python と SQL によるコーディングをはるかに簡単に行えるようになりました」
— Henry Eitel、neXDos ソフトウェアエンジニア
導入前
8
月あたりのダウンタイム時間
Kubernetes クラスターでホストされたオープンソースの JupyterHub と JupyterLab を使用
導入後
0
月あたりのダウンタイム時間
Kubernetes クラスターでホストされた Datalore Enterprise を使用
「Datalore により、コラボレーション、効率、およびデータセキュリティの最適なバランスを実現する信頼できるプラットフォームが見つかりました」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
neXDos 社は Datalore を主要なデータサイエンスプラットフォームとして導入することで、パフォーマンスと生産性を改善しました。取引戦略のプロトタイプ作成、バックテスト、およびデプロイのプロセスの効率が向上しました。
「Datalore の共同作業ワークフローと組み込みの環境、権限、およびデータ管理機能のおかげで、投資戦略のプロトタイプ作成からテスト、および実際のデプロイまでの流れが大幅に高速化されました」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
neXDos 社は Datalore の信頼性にメリットがあることに気付きました。サービスのダウンタイムがまったく発生しないため、neXDos 社の運用が中断されることがなくなり、生産性が向上しました。
「Datalore のサービスは中断がなく、アップグレードも簡単に行えるため安心です。悩まされるツールがスタックから 1 つ減りました」
— Henry Eitel、neXDos ソフトウェアエンジニア
Datalore により、neXDos 社は強力な権限管理機能を使用してインターンを特定のプロジェクトに配属できるようにもなりました。
「Datalore の堅牢な権限管理により、弊社の厳しいデータセキュリティ義務に則って、インターンをプロジェクトに招待することができました。」
— Steffen Möllenhoff 博士、neXDos マネージングパートナー
Youngrae Lee、Drama & Company ビッグデータセンターチームリーダー
Datalore を採用する前、Drama & Company はスタンドアロン型の Jupyter サーバーをデータ調査のニーズに対応する目的で使用していました。ただし、この環境ではパフォーマンスの問題が発生していました。データパイプラインへの調査結果の転送、調査担当者が書いたコードの配布、およびその他の同様なタスクは困難で時間がかかることが判明しました。Drama & Company 社は、より強力で拡張可能なデータサイエンスプラットフォームが必要であることに気付きました。
Nauman Hafiz、Constellation 最高技術責任者
データサイエンスの運用を拡大して顧客と内部関係者の両方に貴重なインサイトを提供するため、Constellation はコラボレーションを合理化してアジリティを強化する手段を必要としていました。従来のビジネスインテリジェンスツール(特に Power BI と Looker)にはレポート生成が遅かったり、ワークフローが途切れたりする問題があり、カスタマイズされたインサイトをタイムリーに生成する能力には限界がありました。
LINE 株式会社 シニアマネージャー 千成徳 様
エンジニアリングチームと Datalore 開発チームのコラボレーションにより、ワークフローとデータガバナンス要件を満たすことができました。