Сфера деятельности: Разработка ПО
Используемые продукты JetBrains: Datalore
Число сотрудников: 100+
Страна: Республика Корея
Drama & Company — IT-компания, которая помогает устанавливать деловые связи. Ее флагманское приложение Remember вызвало огромный интерес в сфере рекрутинга. Сейчас у Remember 4,5 миллиона пользователей в Южной Корее, и это прекрасное доказательство, что компания эффективно использует данные для открытия новых бизнес-возможностей.
Drama & Company обрабатывает огромный объем самых разных данных пользователей: информацию с визитных карточек, историю трудоустройства, результаты исследований, рекламные метрики. Неудивительно, что это связано с рядом сложностей.
«При регистрации в приложении пользователи указывают лишь минимальную информацию о себе. Чтобы сделать приложение полезнее, мы дополняем профили данными из других источников. Для этого нам нужен быстрый и надежный процесс исследования, обработки, очистки и доставки данных»,
— Ёнрэ Ли, руководитель центра больших данных, Drama & Company
Раньше для анализа данных компания использовала автономный сервер Jupyter. При такой конфигурации часто возникали проблемы с производительностью, особенно когда некоторым специалистам требовалось много вычислительных ресурсов. Перенос результатов исследований в пайплайн данных, распределение кода, написанного исследователями, и другие задачи отнимали много времени и сил.
Проанализировав сложности, в Drama & Company пришли к выводу, что компании необходима более надежная и масштабируемая платформа для Data Science. Перед центром больших данных в составе Drama & Company стояли две основных задачи: во-первых, нужно было повысить качество данных и расширить их диапазон, во-вторых — повысить их использование в масштабе всей компании, чтобы увеличить конкурентоспособность.
Вот что требовалось от новой платформы:
Рассмотрев разные варианты, Drama & Company остановилась на Datalore. Платформу можно использовать локально с аутентификацией через SSO. Она интегрируется с источниками данных AWS, предлагает простое управление версиями ноутбуков, возможность совместной работы в реальном времени как в отдельных ноутбуках, так и в командных пространствах, а также поддерживает фоновые вычисления для запуска ноутбуков даже при закрытом браузере. Кроме того, сотрудники Drama & Company доверяли JetBrains, так как уже были знакомы с другими продуктами компании.
Благодаря Datalore компании удалось улучшить процессы анализа данных и управления ими. Ключевую роль здесь играет совместная работа. Команда делится на четыре подразделения, которые отвечают за планирование и инжиниринг данных, надежность данных, обработку визитных карточек и платформу данных. У каждого подразделения свои задачи, но они тесно сотрудничают между собой.
«Интуитивно понятный интерфейс, функциональность и надежность Datalore позволяют нам без проблем исследовать и анализировать наборы данных. В результате мы работаем продуктивнее, и вся команда может принимать обоснованные решения»,
— Ёджин Ким, дата-инженерка, Drama & Company
Вот какие функции Datalore оказались наиболее полезными для Drama & Company:
Обмен данными с Amazon Glue, Athena, S3 и AuroraDB без написания кода.
Сочетание SQL и Python в одном Jupyter-ноутбуке.
Встроенный контроль версий.
Совместная работа в реальном времени и совместное использование ноутбуков и рабочих пространств.
Локальная установка с поддержкой аутентификации через SSO.
Создание расписаний для ноутбука и фоновые вычисления.
Вот как обычно используется Datalore в рабочем процессе Drama & Company:
«Благодаря тому, что у нас есть подключения для обмена данными с Amazon Glue, Athena, S3 и AuroraDB, не требующие написания кода, а также возможность использовать в одном ноутбуке и SQL, и Python, нам требуется меньше ресурсов для просмотра, проверки и переработки данных, и в результате поиск занимает меньше времени».
— Ёнрэ Ли, руководитель центра больших данных, Drama & Company
На третьем этапе исследователи выполняют анализ данных в ноутбуках Datalore и передают результат на ревью дата-инженерам. Те при необходимости вместе с исследователями в реальном времени вносят изменения и исправления в код. Одновременно исследователи учатся писать более качественный код для эффективной инфраструктуры данных.
«Одна из главных вещей, которые нам нравятся в Datalore, — что в отличие от Jupyter, работа не останавливается, когда ты закрываешь браузер. Мы можем запустить процесс и спокойно уйти, а вычисления будут выполняться в фоновом режиме»,
— Ёнрэ Ли, руководитель центра больших данных, Drama & Company
Основные преимущества
50%
сокращение времени на рутинные задачи благодаря более успешной совместной работе
80%
повышение скорости получения результатов анализа.
Внедрение Datalore существенно улучшило работу команды. Упрощение взаимодействия между разными отделами позволило сократить время на рутинные задачи более чем на 50%. Скорость анализа данных увеличилась до 80% благодаря улучшенному код-ревью и оптимизации рабочих процессов, что значительно повысило общую производительность команды.
«Работа с коллегами стала намного эффективнее благодаря Datalore. Платформа отлично анализирует данные и код, позволяет делиться ими для совместного доступа и ревью. В отличие от наших прошлых инструментов, Datalore разделяет ноутбуки на листы, и можно выполнять каждый этап обработки данных на отдельном листе. Это улучшает структуру отчетов и делает их более понятными»,
— Еын Им, дата-инженерка, Drama & Company
Drama & Company обрабатывает огромный объем самых разных данных пользователей: информацию с визитных карточек, историю трудоустройства, результаты исследований, рекламные метрики. Неудивительно, что это связано с рядом сложностей.
«Думаю, немало компаний сталкиваются с теми же сложностями, что и мы. Надеюсь, с помощью Datalore многие из них смогут упростить совместную работу на всех этапах от анализа до разработки данных и поделятся своим опытом»,
— Ёнрэ Ли, руководитель центра больших данных, Drama & Company
Науман Хафиз, CTO Constellation
Чтобы масштабировать операции Data Science и предоставлять клиентам и своему руководству ценную информацию, компании Constellation требовался способ упростить совместную работу и повысить гибкость. При использовании традиционных инструментов бизнес-аналитики (конкретно — Power BI и Looker) команда Constellation столкнулась с проблемами: медленное создание отчетов и несогласованные рабочие процессы мешали вовремя получать результаты анализа, соответствующие требованиям пользователей.
Сондук Чхон, старший менеджер LINE Corporation
Когда мы попробовали Datalore, оказалось, что его интерфейс хорошо знаком нашим разработчикам, а функции публикации отчетов очень удобны. Благодаря совместной работе наших инженеров и команды Datalore нам удалось адаптировать систему к нашим рабочим процессам и выполнить требования к управлению данными. Среди них были.
Риджана, менеджер продукта, Ometria
Опираясь на возможности Datalore, в прошлом году наша команда сделала огромный шаг вперед и вывела сервисы аналитики для ритейла на новый уровень. Благодаря развитию внутренних сервисов и использованию индивидуализированных отчетов, команда по работе с клиентами очень быстро предоставляет результаты анализа, которые приносят клиентам большую выгоду. Это одно из важнейших достижений нашей команды за последний год.