Сфера деятельности: Интернет и телекоммуникации
Используемые продукты JetBrains: Datalore
Число сотрудников: 3000+
Страна: Япония
“Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны. Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными.”
— Сондук Чхон, старший менеджер LINE Corporation
Меня зовут Сондук Чхон, я старший менеджер в LINE Corporation и возглавляю отдел платформ для работы с данными. Наша задача — упростить использование данных и предоставить пользователям внутри компании удобную платформу для анализа.
Мы предоставляем услуги в разных сферах: средства массовой информации, торговля, финтех. Наш главный продукт — мессенджер LINE, которым ежемесячно пользуются 193 миллиона человек в разных странах, в том числе 94 миллиона — в Японии.
Наш отдел предоставляет пользователям платформу для сбора, хранения и анализа данных из разных сервисов LINE, а также управления этими данными. Это единая инфраструктура в масштабе всей компании, которая содержит данные разных подразделений. Она называется IU — Information Universe, «Информационная вселенная».
За последние годы потребность в анализе данных внутри компании заметно выросла. Пользователям, особенно специалистам по Data Science и машинному обучению, нужно, чтобы ноутбуки не просто выполняли запросы. Раньше мы использовали наше собственное решение для ноутбуков анализа данных — OASIS, — но у него не было потенциала для развития и удовлетворения растущих потребностей пользователей.
Мы начали изучать другие варианты, и одним из кандидатов стал Datalore.
Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны.
Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными. Среди них были:
Эти функции были для нас критически важными, поэтому мы и выбрали Datalore в качестве платформы для Data Science.
«Мы очень рады, что у Datalore гораздо больше пользователей, чем изначально предполагалось, и это не только дата-инженеры и специалисты по Data Science. Мы ожидаем, что в будущем Datalore будут использовать несколько сотен сотрудников LINE».
Хотя решение Datalore было развернуто в LINE совсем недавно, по состоянию на 1 марта 2023 года его использует уже почти половина команд анализа данных как в головной компании LINE Group, так и в других компаниях группы. Кроме того, мы очень рады, что у Datalore гораздо больше пользователей, чем изначально предполагалось, и это не только дата-инженеры и специалисты по Data Science. Мы ожидаем, что в будущем Datalore будут использовать несколько сотен сотрудников LINE.
Научиться работать с Datalore было несложно. Поначалу у пользователей возникали некоторые вопросы, но интерфейс оказался привычным для тех, кто уже пользовался OASIS, Jupyter и нашими собственными решениями, и им было легко начать работу.
Самым сложным для наших пользователей было выполнение заданий в клиентском режиме Spark. Благодаря совместной работе наших разработчиков и команды поддержки Datalore эту проблему удалось решить.
Еще у нас возникли сложности из-за того, что требования LINE к управлению данными и подход Datalore отличались с точки зрения управления полномочиями. Благодаря конструктивному обсуждению с командой разработчиков Datalore мы сумели устранить эти затруднения и официально внедрить Datalore.
Наша компания — поставщик инфраструктуры обработки данных, поэтому мы не знаем, о каких данных идет речь. Те, у кого есть доступ к IU («Информационной вселенной»), импортируют данные и анализируют их с помощью Datalore.
Обычно мы делимся результатами работы, публикуя ссылки на отчеты Datalore в вики-ресурсах организаций. Функции создания отчетов чрезвычайно полезны.
«С тех пор, как мы перешли на Datalore с собственной платформы для анализа данных, у нас освободились внутренние ресурсы для разработки. Кроме того, нам удалось выполнить требования к управлению данными в соответствии с политиками LINE в области соответствия стандартам».
Поскольку мы перешли на Datalore не так давно, оценка окупаемости еще не проводилась. Тем не менее, мы смогли освободить внутренние ресурсы для разработки, когда приняли решение перейти с нашей собственной платформы для анализа данных на Datalore. Кроме того, нам удалось выполнить требования к управлению данными в соответствии с политиками LINE в области соответствия стандартам.
Мы ожидаем, что внедрение ноутбуков Datalore поможет сотрудникам LINE Group, которые отвечают за анализ данных, принимать взвешенные решения. Если результаты анализа данных можно будет быстро и без дополнительных ухищрений использовать в разных подразделениях LINE, это будет выгодно для бизнеса, поскольку сократит циклы PDCA и упростит принятие решений с опорой на данные.
Нетанель Голани, специалист Hunters по поиску угроз
Уже через месяц после того как команда Hunters, занимающаяся Data Science, начала использовать Datalore, мы увидели, что продуктивность повысилась, а работать стало удобнее, особенно при обработке многочисленных источников данных клиентов.
Чад Розенберг, руководитель технологического отдела, Center for New Data
Datalore дает нам возможности для работы с данными, которых нет в Airflow, такие как отладка результатов пайплайна, опробование вебхуков и быстрая визуализация данных с помощью функций автоматического построения графиков. Возможность использовать нативный коннектор Snowflake в Datalore, а также программный в pandas, определенно экономит время при совместной работе над ноутбуками.
Морено Раймондо Вендра, старший специалист по машинному обучению, TrueLayer
Datalore перевернул нашу жизнь, обеспечив удобный доступ к нашим данным с соблюдением всех требований безопасности. В результате нам стало гораздо удобнее не только работать внутри отдела машинного обучения, но и делиться информацией с другими.