Drama & Company 社は名刺データ情報、採用履歴、調査データ、広告メトリクスなど幅広い分野に及ぶ豊富なユーザーデータを所有しています。当然ながら、これほど膨大なデータの処理には固有の課題が伴います。
「ユーザーはアプリでアカウントを作成する際、ほんの少しの個人情報しか提供しません。他のアプリユーザーにさらなる価値を提供するには、他の情報源から得られるデータでユーザープロファイルを充実化する必要があります。そのため、データの調査、処理、詳細化、提供のための迅速で確実なプロセスを必要としています」
— Youngrae Lee、Drama & Company ビッグデータセンターチームリーダー
弊社はかつてスタンドアロン型の Jupyter サーバーをデータ調査に使用していました。ただし、この環境では特定の調査担当者が多数の計算リソースを使用した場合などにパフォーマンスの問題が発生していました。データパイプラインへの調査結果の転送、調査担当者が書いたコードの配布、およびその他の同様のタスクは困難で時間がかかることが判明しました。
Drama & Company は直面していた課題を考慮し、より堅牢で拡張可能なデータサイエンスプラットフォームが必要であることに気付きました。Drama & Company のビッグデータセンターチームには 2 つの主な目標がありました。1 つはデータの品質を改善してその範囲を拡張すること、もう 1 つは事業全体でデータの活用を促進して組織の競合優位性を高めることでした。
新しいデータサイエンスプラットフォームには以下のような要件がありました。
Drama & Company はさまざまな選択肢を評価した後、Datalore を選択しました。SSO 認証を組み込んだオンプレミスインストール環境として利用でき、AWS データソースと統合可能で、使いやすいノートブックのバージョン管理、ノートブックとチームワークスペースでのリアルタイムコラボレーション、およびブラウザーが動作していない場合でもノートブックを実行できるバックグラウンド計算オプションが組み込まれているためです。さらに、JetBrains は Drama & Comapny がすでに信頼を寄せていたプロバイダーでもありました。
Drama & Company 社は Datalore を通じてデータの調査と管理を詳細化しました。コラボレーションは Drama & Company 社にとって重要なものです。同社のチームにはデータプランニング・エンジニアリング、データリライアビリティエンジニアリング、ビズカード、およびデータプラットフォームエンジニアリングの 4 つの部門があります。各部門には独自の役割がありますが、非常に緊密な連携が図られています。
「Datalore の直感的なインターフェースと強力な機能のおかげで、データセットを円滑に探索して解析できています。結果的に生産性が向上し、チーム全体で情報に基づく意思決定が促進されています」
— Yeojin Kim、Drama & Company データエンジニア
Drama & Comopany 社が使用している Datalore の主な機能:
Amazon Glue、Athena、S3、AuroraDB 対応のノーコードデータコネクター。
1 つの Jupyter ノートブック内での SQL と Python の併用。
組み込みのバージョン管理。
リアルタイムのコラボレーションとノートブックおよびワークスペースの共有。
オンプレミスインストールと SSO 認証。
ノートブックのスケジュール設定とバックグラウンド計算。
以下は Drama & Company 社が Datalore でよく実行しているワークフローです。
「Amazon Glue、Athena、S3、および AuroraDB へのノーコードコネクターがあることや 1 つのノートブックで SQL と Python を併用できるため、データの検索、検証、および手直しに必要なリソースを削減し、調査時間を短縮することができました」
— Youngrae Lee、Drama & Company ビッグデータセンターチームリーダー
その後は調査担当者が Datalore ノートブックでデータ解析を実行し、調査内容をデータエンジニアに渡してコードレビューを行います。データエンジニアは調査担当者と連携しながら必要に応じてリアルタイムでコードの変更や修正を行います。このプロセスは調査担当者の学習体験にもなり、コーディング方法を改善して効率的なデータインフラストラクチャを実現するのに役立っています。
「このチームにとって Datalore を使用する最大のメリットの 1 つは、Jupyter とは異なり、ブラウザーから離れても処理が止まらないことが挙げられます。重いノートブックの処理がバックグラウンドで続行されていることがわかっているため、安心して作業を離れることができます」
— Youngrae Lee、Drama & Company ビッグデータセンターチームリーダー
獲得した主なメリット:
50%
コラボレーションの改善による一般的なタスクにかかる時間の削減。
80%
解析結果の提供速度の改善。
Datalore を採用することで、チームの効率が大幅に向上しました。特にデータチーム内のさまざまなサブ部門の間でのコラボレーションが改善され、一般的なタスクにかかる時間が 50% 短縮されています。円滑なデータ統合、コードレビューの改善、およびイテレーションサイクルの短縮により、データ解析速度が 80% 増加し、チームメンバーの全体的な生産能力が大幅に強化されています。
「Datalore のおかげで、チームとのコラボレーション効率が著しく向上しました。このプラットフォームはデータとコードの共有と解析に長けているため、円滑なコラボレーションとレビューが可能になっています。以前に使用していたツールとは異なり、Datalore ではノートブックを個別のシートに分割できます。この機能により、データ処理のさまざまなステージで別々のシートを使って作業できるようになり、解析レポートの可読性と構造が大きく改善されました」
— Yeeun Im、Drama & Company データエンジニア
Drama & Company 社は名刺データ情報、採用履歴、調査データ、広告メトリクスなど幅広い分野に及ぶ豊富なユーザーデータを所有しています。当然ながら、これほど膨大なデータの処理には固有の課題が伴います。
「多くの企業が弊社と同じような懸念を抱いていると思っています。そのような多くの企業が Datalore を通じて解析からデータ開発に至るすべてにおいてコラボレーションの最大化と合理化を実現し、多くのノウハウを共有できることを願っています」
— Youngrae Lee、Drama & Company ビッグデータセンターチームリーダー
Nauman Hafiz、Constellation 最高技術責任者
データサイエンスの運用を拡大して顧客と内部関係者の両方に貴重なインサイトを提供するため、Constellation はコラボレーションを合理化してアジリティを強化する手段を必要としていました。従来のビジネスインテリジェンスツール(特に Power BI と Looker)にはレポート生成が遅かったり、ワークフローが途切れたりする問題があり、カスタマイズされたインサイトをタイムリーに生成する能力には限界がありました。
LINE 株式会社 シニアマネージャー 千成徳 様
エンジニアリングチームと Datalore 開発チームのコラボレーションにより、ワークフローとデータガバナンス要件を満たすことができました。
Regeane、Ometria プロダクトマネージャー
昨年、当社のチームは Datalore のおかげで状況を一変させる画期的な進歩を達成しました。 その力を活用して小売インテリジェンスサービスを新たなレベルに引き上げることができました。 カスタマーサクセスチームは内部サービスとカスタムデータレポートの開発を通して超高速なインサイトを提供し、お客様に大きな利益をもたらしました。 この成果は、チームが昨年に達成した成功の中でもひときわ輝いています。