Сфера деятельности: Разработка ПО

Используемые продукты JetBrains: Datalore

Число сотрудников: 100+

Страна: Республика Корея

О компании Drama & Company

Drama & Company — IT-компания, которая помогает устанавливать деловые связи. Ее флагманское приложение Remember вызвало огромный интерес в сфере рекрутинга. Сейчас у Remember 4,5 миллиона пользователей в Южной Корее, и это прекрасное доказательство, что компания эффективно использует данные для открытия новых бизнес-возможностей.

Благодаря Datalore скорость анализа данных в Drama & Company увеличилась на 80%

Устранение препятствий в процессе выпуска дата-продуктов

Drama & Company обрабатывает огромный объем самых разных данных пользователей: информацию с визитных карточек, историю трудоустройства, результаты исследований, рекламные метрики. Неудивительно, что это связано с рядом сложностей.

«При регистрации в приложении пользователи указывают лишь минимальную информацию о себе. Чтобы сделать приложение полезнее, мы дополняем профили данными из других источников. Для этого нам нужен быстрый и надежный процесс исследования, обработки, очистки и доставки данных»,

— Ёнрэ Ли, руководитель центра больших данных, Drama & Company

Раньше для анализа данных компания использовала автономный сервер Jupyter. При такой конфигурации часто возникали проблемы с производительностью, особенно когда некоторым специалистам требовалось много вычислительных ресурсов. Перенос результатов исследований в пайплайн данных, распределение кода, написанного исследователями, и другие задачи отнимали много времени и сил.

Проанализировав сложности, в Drama & Company пришли к выводу, что компании необходима более надежная и масштабируемая платформа для Data Science. Перед центром больших данных в составе Drama & Company стояли две основных задачи: во-первых, нужно было повысить качество данных и расширить их диапазон, во-вторых — повысить их использование в масштабе всей компании, чтобы увеличить конкурентоспособность.

Вот что требовалось от новой платформы:

  1. Удобный доступ к инфраструктуре работы с данными в AWS, в том числе интеграция с Amazon Glue, Amazon Athena, Amazon S3 и Amazon AuroraDB.
  2. Удобный процесс ревью кода для исследователей, которым некомфортно работать с Git, и дата-инженеров.
  3. Индивидуальная рабочая среда для каждого исследователя с поддержкой совместной работы.
  4. Возможность локальной установки и безопасная процедура аутентификации.
  5. Система, в которой задачи будут выполняться, независимо от состояния браузера.

Рассмотрев разные варианты, Drama & Company остановилась на Datalore. Платформу можно использовать локально с аутентификацией через SSO. Она интегрируется с источниками данных AWS, предлагает простое управление версиями ноутбуков, возможность совместной работы в реальном времени как в отдельных ноутбуках, так и в командных пространствах, а также поддерживает фоновые вычисления для запуска ноутбуков даже при закрытом браузере. Кроме того, сотрудники Drama & Company доверяли JetBrains, так как уже были знакомы с другими продуктами компании.

Новый подход к совместной работе и синергия

Благодаря Datalore компании удалось улучшить процессы анализа данных и управления ими. Ключевую роль здесь играет совместная работа. Команда делится на четыре подразделения, которые отвечают за планирование и инжиниринг данных, надежность данных, обработку визитных карточек и платформу данных. У каждого подразделения свои задачи, но они тесно сотрудничают между собой.

«Интуитивно понятный интерфейс, функциональность и надежность Datalore позволяют нам без проблем исследовать и анализировать наборы данных. В результате мы работаем продуктивнее, и вся команда может принимать обоснованные решения»,

— Ёджин Ким, дата-инженерка, Drama & Company

Вот какие функции Datalore оказались наиболее полезными для Drama & Company:

  • Обмен данными с Amazon Glue, Athena, S3 и AuroraDB без написания кода.

  • Сочетание SQL и Python в одном Jupyter-ноутбуке.

  • Встроенный контроль версий.

  • Совместная работа в реальном времени и совместное использование ноутбуков и рабочих пространств.

  • Локальная установка с поддержкой аутентификации через SSO.

  • Создание расписаний для ноутбука и фоновые вычисления.

Вот как обычно используется Datalore в рабочем процессе Drama & Company:

  1. На старте проекта исследователи и дата-инженеры вместе создают отдельное рабочее пространство и определяют цели и методологию исследования.
  2. После этого дата-инженеры настраивают в рабочем пространстве проекта соответствующее пространство для анализа, где есть нужные базы данных SQL и контейнеры S3.
  3. «Благодаря тому, что у нас есть подключения для обмена данными с Amazon Glue, Athena, S3 и AuroraDB, не требующие написания кода, а также возможность использовать в одном ноутбуке и SQL, и Python, нам требуется меньше ресурсов для просмотра, проверки и переработки данных, и в результате поиск занимает меньше времени».

    — Ёнрэ Ли, руководитель центра больших данных, Drama & Company

  4. На третьем этапе исследователи выполняют анализ данных в ноутбуках Datalore и передают результат на ревью дата-инженерам. Те при необходимости вместе с исследователями в реальном времени вносят изменения и исправления в код. Одновременно исследователи учатся писать более качественный код для эффективной инфраструктуры данных.

  5. Наконец, если проанализированные данные нужно сразу перенести в продакшен, дата-инженер скачивает файл ноутбука и запускает пайплайн. Если данные нуждаются в дальнейшем подтверждении, исследователи используют функцию расписания в Datalore, чтобы дополнительно протестировать ноутбук на новых фрагментах данных.

«Одна из главных вещей, которые нам нравятся в Datalore, — что в отличие от Jupyter, работа не останавливается, когда ты закрываешь браузер. Мы можем запустить процесс и спокойно уйти, а вычисления будут выполняться в фоновом режиме»,

— Ёнрэ Ли, руководитель центра больших данных, Drama & Company

Результаты

Основные преимущества

50%

сокращение времени на рутинные задачи благодаря более успешной совместной работе

80%

повышение скорости получения результатов анализа.

Внедрение Datalore существенно улучшило работу команды. Упрощение взаимодействия между разными отделами позволило сократить время на рутинные задачи более чем на 50%. Скорость анализа данных увеличилась до 80% благодаря улучшенному код-ревью и оптимизации рабочих процессов, что значительно повысило общую производительность команды.

«Работа с коллегами стала намного эффективнее благодаря Datalore. Платформа отлично анализирует данные и код, позволяет делиться ими для совместного доступа и ревью. В отличие от наших прошлых инструментов, Datalore разделяет ноутбуки на листы, и можно выполнять каждый этап обработки данных на отдельном листе. Это улучшает структуру отчетов и делает их более понятными»,

— Еын Им, дата-инженерка, Drama & Company

Drama & Company обрабатывает огромный объем самых разных данных пользователей: информацию с визитных карточек, историю трудоустройства, результаты исследований, рекламные метрики. Неудивительно, что это связано с рядом сложностей.

«Думаю, немало компаний сталкиваются с теми же сложностями, что и мы. Надеюсь, с помощью Datalore многие из них смогут упростить совместную работу на всех этапах от анализа до разработки данных и поделятся своим опытом»,

— Ёнрэ Ли, руководитель центра больших данных, Drama & Company

Похожие истории клиентов

Constellation Software

Науман Хафиз, CTO Constellation

Чтобы масштабировать операции Data Science и предоставлять клиентам и своему руководству ценную информацию, компании Constellation требовался способ упростить совместную работу и повысить гибкость. При использовании традиционных инструментов бизнес-аналитики (конкретно — Power BI и Looker) команда Constellation столкнулась с проблемами: медленное создание отчетов и несогласованные рабочие процессы мешали вовремя получать результаты анализа, соответствующие требованиям пользователей.

LINE Corporation

Сондук Чхон, старший менеджер LINE Corporation

Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны. Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными. Среди них были.

Ometria

Риджана, менеджер продукта, Ometria

Опираясь на возможности Datalore, в прошлом году наша команда сделала огромный шаг вперед и вывела сервисы аналитики для ритейла на новый уровень. Благодаря развитию внутренних сервисов и использованию индивидуализированных отчетов, команда по работе с клиентами очень быстро предоставляет результаты анализа, которые приносят клиентам большую выгоду. Это одно из важнейших достижений нашей команды за последний год.

Другие истории клиентов