Drama & Company 掌握丰富的用户数据,涵盖多个领域,包括名片信息、招聘历史、研究数据和广告指标。处理如此庞大的数据自然也带来了一系列挑战。
“在应用中创建帐户时,用户只提供少量个人信息。为了给其他应用用户带来更多价值,我们的团队需要使用其他来源的数据来丰富用户资料。因此,我们需要快速可靠的数据研究、处理、提炼和交付流程。”
— Youngrae Lee,Drama & Company 大数据中心团队主管
之前,该公司为他们的数据研究需求使用独立的 Jupyter 服务器。不过,这种环境经常遭遇性能问题,尤其是在研究员使用大量计算资源时。向数据管道传输研究结果、分发研究员编写的代码以及其他类似任务都十分困难且耗时。
鉴于这些挑战,Drama & Company 意识到需要更强大、可扩缩的数据科学平台。Drama & Company 的大数据中心团队有两个主要目标。首先,他们希望提高数据质量并扩大范围。其次,他们的目标是提高整个企业的数据利用率,使组织更具竞争力。
他们对新数据科学平台的要求包括:
在审查多个选项后,Drama & Company 最终选择了 Datalore。Datalore 可以本地使用,搭载 SSO 身份验证,提供与 AWS 数据源的集成,具有易于使用的嵌入式 Notebook 版本控制、Notebook 和团队工作区实时协作,以及允许在浏览器关闭时运行 Notebook 的后台计算选项。此外,JetBrains 是 Drama & Company 已经信任的提供商。
通过 Datalore,Drama & Company 完善了他们的数据研究和管理。协作是 Drama & Company 的关键,他们的团队有四个小组:数据规划与工程、数据可靠性工程、名片工程,以及数据平台工程。每个小组都有自己的职责,但所有小组都紧密合作。
“Datalore 的直观界面和强大功能让我们能够无缝探索和分析数据集。这提高了工作效率,并促进整个团队做出明智的决策。”
— Yeojin Kim,Drama & Company 数据工程师
Drama & Company 使用的关键 Datalore 功能:
适用于 Amazon Glue、Athena、S3 和 AuroraDB 的无代码数据连接器。
在一个 Jupyter Notebook 中使用的 SQL 和 Python 组合。
集成式版本控制。
Notebook 和工作区的实时协作与共享。
本地部署安装和 SSO 身份验证。
Notebook 调度和后台计算。
以下是 Drama & Company 使用 Datalore 的典型工作流:
“与 Amazon Glue、Athena、S3 和 AuroraDB 的无代码连接,以及在一个 Notebook 中结合使用 SQL 和 Python,帮助我们减少了数据查找、验证和重做所需的资源,并缩短了研究时间。”
— Youngrae Lee,Drama & Company 大数据中心团队主管
第三,研究员在 Datalore Notebook 中进行数据分析,并将研究交给数据工程师进行代码审查。数据工程师与研究员合作,根据需要实时更改或纠正代码。这个过程也为研究员提供了学习经验,帮助他们改进代码编写,构建高效的数据基础架构。
“Datalore 对团队来说最好的一点是,与 Jupyter 不同,即使离开浏览器工作也不会停止。这意味着他们可以放心地离开工作,因为繁重的 Notebook 计算会在后台继续进行。”
— Youngrae Lee,Drama & Company 大数据中心团队主管
解锁的主要优势:
50%
得益于更出色的协作,花费在常见任务上的时间减少百分比
80%
分析交付速度提高百分比
采用 Datalore 后,团队效率显著提升。数据团队各个子团队之间的协作得到大幅改善,在常见任务上花费的时间减少了至少 50%。得益于顺畅的数据集成、改进的代码审查和更快的迭代周期,数据分析速度提高了 80%,团队成员的整体能力显著提高。
“多亏了 Datalore,我和团队的协作效率显著提高。平台擅长共享和分析数据和代码,能够实现无缝协作和审查。Datalore 和我们以前的工具不同,它能够将 Notebook 拆分成单独的工作表。这个功能使我们可以在不同的工作表中从事不同的数据处理阶段,显著提升了分析报告的可读性和结构”
— Yeeun Im,Drama & Company 数据工程师
Drama & Company 掌握丰富的用户数据,涵盖多个领域,包括名片信息、招聘历史、研究数据和广告指标。处理如此庞大的数据自然也带来了一系列挑战。
“我认为许多公司都和我们有同样的顾虑。我希望更多公司能够在从分析到数据开发的过程中通过 Datalore 最大化和流程化协作,并共享大量专业知识。”
— Youngrae Lee,Drama & Company 大数据中心团队主管
Nauman Hafiz,Constellation 首席技术官
Constellation 需要简化协作和增强敏捷性,以此扩展数据科学运营并向客户和内部相关方提供有价值的洞察。传统商业智能工具(特别是 Power BI 和 Looker)报告生成速度慢以及工作流脱节等问题限制了 Constellation 生成及时、定制化洞察的能力。
Seongduk Cheon,LINE Corporation 高级经理
评估期间,我们发现 Datalore 的用户体验对我们的开发者来说较为熟悉,报告共享功能也很容易使用。 得益于我们工程团队和 Datalore 开发团队的协作,我们成功满足了我们的工作流和数据治理要求。
Regeane,Ometria 产品经理
去年,团队借助 Datalore 实现了决定性突破。 我们将零售智能服务提升到全新高度。 通过内部服务开发和定制化数据报告,客户成功团队提供了极快的见解,让客户受益匪浅。 这一成就是我们团队去年最大的胜利之一。