Сфера деятельности: Интернет и телекоммуникации

Используемые продукты JetBrains: Datalore

Число сотрудников: 3000+

Страна: Япония

LINE Corporation

Line Corporation предоставляет услуги в разных сферах: средства массовой информации, торговля, финтех. Ключевой продукт компании — мессенджер LINE, которым ежемесячно пользуются 193 миллиона человек в разных странах, в том числе 94 миллиона — в Японии.

“Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны. Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными.”

— Сондук Чхон, старший менеджер LINE Corporation

Как компания LINE внедрила Datalore в качестве платформы для анализа данных

О компании LINE

Расскажите о себе.

Меня зовут Сондук Чхон, я старший менеджер в LINE Corporation и возглавляю отдел платформ для работы с данными. Наша задача — упростить использование данных и предоставить пользователям внутри компании удобную платформу для анализа.

Какими проектами занимается LINE?

Мы предоставляем услуги в разных сферах: средства массовой информации, торговля, финтех. Наш главный продукт — мессенджер LINE, которым ежемесячно пользуются 193 миллиона человек в разных странах, в том числе 94 миллиона — в Японии.

Наш отдел предоставляет пользователям платформу для сбора, хранения и анализа данных из разных сервисов LINE, а также управления этими данными. Это единая инфраструктура в масштабе всей компании, которая содержит данные разных подразделений. Она называется IU — Information Universe, «Информационная вселенная».


Какие проблемы предстояло решить

Что заставило вас искать решение, подобное Datalore? С какими проблемами вы столкнулись?

За последние годы потребность в анализе данных внутри компании заметно выросла. Пользователям, особенно специалистам по Data Science и машинному обучению, нужно, чтобы ноутбуки не просто выполняли запросы. Раньше мы использовали наше собственное решение для ноутбуков анализа данных — OASIS, — но у него не было потенциала для развития и удовлетворения растущих потребностей пользователей.

Мы начали изучать другие варианты, и одним из кандидатов стал Datalore.

Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны.

Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными. Среди них были:

  • поддержка клиентского режима в Spark;
  • поддержка нативных пакетов R;
  • ведение расширенных журналов аудита;
  • тонкое управление правами доступа к отчетам и рабочим пространствам.

Эти функции были для нас критически важными, поэтому мы и выбрали Datalore в качестве платформы для Data Science.


«Мы очень рады, что у Datalore гораздо больше пользователей, чем изначально предполагалось, и это не только дата-инженеры и специалисты по Data Science. Мы ожидаем, что в будущем Datalore будут использовать несколько сотен сотрудников LINE».


Опыт использования Datalore

Кто пользуется Datalore в вашей команде?

Хотя решение Datalore было развернуто в LINE совсем недавно, по состоянию на 1 марта 2023 года его использует уже почти половина команд анализа данных как в головной компании LINE Group, так и в других компаниях группы. Кроме того, мы очень рады, что у Datalore гораздо больше пользователей, чем изначально предполагалось, и это не только дата-инженеры и специалисты по Data Science. Мы ожидаем, что в будущем Datalore будут использовать несколько сотен сотрудников LINE.

Изменился ли процесс обучения новых сотрудников с переходом на Datalore?

Научиться работать с Datalore было несложно. Поначалу у пользователей возникали некоторые вопросы, но интерфейс оказался привычным для тех, кто уже пользовался OASIS, Jupyter и нашими собственными решениями, и им было легко начать работу.

Самым сложным для наших пользователей было выполнение заданий в клиентском режиме Spark. Благодаря совместной работе наших разработчиков и команды поддержки Datalore эту проблему удалось решить.

Еще у нас возникли сложности из-за того, что требования LINE к управлению данными и подход Datalore отличались с точки зрения управления полномочиями. Благодаря конструктивному обсуждению с командой разработчиков Datalore мы сумели устранить эти затруднения и официально внедрить Datalore.

С какими данными вы работаете? Как вы делитесь результатами работы?

Наша компания — поставщик инфраструктуры обработки данных, поэтому мы не знаем, о каких данных идет речь. Те, у кого есть доступ к IU («Информационной вселенной»), импортируют данные и анализируют их с помощью Datalore.

Обычно мы делимся результатами работы, публикуя ссылки на отчеты Datalore в вики-ресурсах организаций. Функции создания отчетов чрезвычайно полезны.


«С тех пор, как мы перешли на Datalore с собственной платформы для анализа данных, у нас освободились внутренние ресурсы для разработки. Кроме того, нам удалось выполнить требования к управлению данными в соответствии с политиками LINE в области соответствия стандартам».


Как вы считаете, какую выгоду получит LINE от использования Datalore?

Поскольку мы перешли на Datalore не так давно, оценка окупаемости еще не проводилась. Тем не менее, мы смогли освободить внутренние ресурсы для разработки, когда приняли решение перейти с нашей собственной платформы для анализа данных на Datalore. Кроме того, нам удалось выполнить требования к управлению данными в соответствии с политиками LINE в области соответствия стандартам.

Мы ожидаем, что внедрение ноутбуков Datalore поможет сотрудникам LINE Group, которые отвечают за анализ данных, принимать взвешенные решения. Если результаты анализа данных можно будет быстро и без дополнительных ухищрений использовать в разных подразделениях LINE, это будет выгодно для бизнеса, поскольку сократит циклы PDCA и упростит принятие решений с опорой на данные.

Контакты

Похожие истории клиентов

Hunters

Нетанель Голани, специалист Hunters по поиску угроз

Уже через месяц после того как команда Hunters, занимающаяся Data Science, начала использовать Datalore, мы увидели, что продуктивность повысилась, а работать стало удобнее, особенно при обработке многочисленных источников данных клиентов.

Сenter for New Data

Чад Розенберг, руководитель технологического отдела, Center for New Data

Datalore дает нам возможности для работы с данными, которых нет в Airflow, такие как отладка результатов пайплайна, опробование вебхуков и быстрая визуализация данных с помощью функций автоматического построения графиков. Возможность использовать нативный коннектор Snowflake в Datalore, а также программный в pandas, определенно экономит время при совместной работе над ноутбуками.

TrueLayer

Морено Раймондо Вендра, старший специалист по машинному обучению, TrueLayer

Datalore перевернул нашу жизнь, обеспечив удобный доступ к нашим данным с соблюдением всех требований безопасности. В результате нам стало гораздо удобнее не только работать внутри отдела машинного обучения, но и делиться информацией с другими.

Другие истории клиентов