评估期间,我们发现 Datalore 的用户体验对我们的开发者来说较为熟悉,报告共享功能也很容易使用。得益于我们工程团队和 Datalore 开发团队的协作,我们成功满足了我们的工作流和数据治理要求。
— Seongduk Cheon,LINE Corporation 高级经理
我叫 Seongduk Cheon,是 LINE Corporation 的一名高级经理,领导着数据平台部。我们的使命是实现数据使用民主化,并为公司内部用户提供数据分析平台。
我们基于通信应用程序“LINE”为媒体、商业和金融科技等多种领域提供服务,这款应用程序在全球拥有 1.93 亿月活用户,在日本拥有 9,400 万月活用户。
数据平台部为用户提供收集、存储、管理和分析 LINE 各种服务数据的平台。这被称为 IU 或 Information Universe,是公司级数据基础架构,包含各种业务的数据。
近年来,公司内部对数据分析的需求不断增加。对 Notebook 解决方案的需求已经远远超出简单查询执行的范围,特别是来自数据科学家和机器学习工程师的需求。我们长期使用的内部 Notebook 解决方案 OASIS 缺乏能够满足这些多样化需求的开发资源。
我们开始评估新的 Notebook 解决方案,Datalore 是候选者之一。
评估期间,我们发现 Datalore 的用户体验对我们的开发者来说较为熟悉,报告共享功能也很容易使用。
得益于我们工程团队和 Datalore 开发团队的协作,我们成功满足了我们的工作流和数据治理要求。
这些功能对我们来说至关重要,因此我们决定选择 Datalore 作为我们的数据科学平台。
“我们还很高兴看到 Datalore 的用户数量比我们最初预期的要多得多,其中包括数据工程和数据科学以外的角色。最终,我们预计 Datalore 在 LINE 中将被数百名用户使用。”
虽然 Datalore 最近才在 LINE 中部署,但截至 2023 年 3 月 1 日,LINE 集团和集团公司内已有近一半的数据分析团队在使用 Datalore。我们还很高兴看到 Datalore 的用户数量比我们最初预期的要多得多,其中包括数据工程和数据科学以外的角色。最终,我们预计 Datalore 在 LINE 中将被数百名用户使用。
首先,引入 Datalore 的门槛并不高。虽然一开始我们收到了用户的一些问题,但熟悉的 UI/UX 让一直使用我们内部解决方案 OASIS 和 Jupyter 的用户可以轻松上手。
其次,我们用户面临的最大挑战是在 Spark 客户端模式下执行作业。通过开发团队和 Datalore 支持团队的协作,我们成功解决了这个问题。
第三,Datalore 产品理念与 LINE 数据治理在权限管理上存在差距,这带来了一些困难。经过与 Datalore 开发团队的协作讨论,我们消除了这一差距并正式采用 Datalore。
由于我们是数据基础架构提供商,我们不知道数据的详细信息。有权访问 IU (Information Universe) 的人员可以通过 Datalore 导入和分析数据。
我们通常将 Datalore 报告链接发布到组织 wiki 来共享工作成果,我们发现报告功能非常有用。
“由于 Datalore 刚刚完成部署,在我们决定从内部数据科学平台切换到 Datalore 的时候,我们就已经腾出了内部开发资源。我们还成功满足了数据治理要求,这对于 LINE 合规政策至关重要。”
由于 Datalore 刚刚完成部署,我们还没有对返回值进行量化评估。但是,在我们决定从内部数据科学平台切换到 Datalore 的时候,我们就已经腾出了内部开发资源。我们还成功满足了数据治理要求,这对于 LINE 合规政策至关重要。
我们预计 Datalore Notebook 解决方案将促进 LINE 集团内从事数据分析的人员做出以数据为依据的决策。只要数据分析的结果能够顺利、快速地部署到 LINE 的各个业务部门,它就将实现更快的 PDCA 周期和更多以数据为依据的决策,为业务做出贡献。
Netanel Golani,Hunters 威胁搜寻专家
Hunters 的数据科学团队开始使用 Datalore 才一个月,它为日常工作流带来的生产力和实用性改进就已经非常明显,特别是在处理大量客户数据源时。
Chad Rosenberg,The Center for New Data 技术主管
Datalore 提供了不同于 Airflow 的数据处理方式,例如调试管道结果、试用 Web 挂钩以及使用自动绘图功能快速可视化数据。 使用 Datalore 中的原生 Snowflake 连接器以及 pandas 中的程序化连接器,在处理共享 Notebook 时可以节省大量时间。
Moreno Raimondo Vendra,TrueLayer 高级机器学习工程师
Datalore 使我们的团队能够以符合人体工程学的方式访问数据,同时满足安全要求,这对我们来说是一个翻天覆地的变化。 由此,我们在机器学习团队内部以及与相关方之间都可以更轻松地开展协作。