Industria: Desarrollo de software

Productos de JetBrains utilizados: Datalore

Tamaño de la organización: 100+

País: República de Corea

Acerca de Drama & Company

Como empresa de TI centrada en «conectar oportunidades de negocio», Drama & Company ha causado sensación en el sector de la contratación profesional con su aplicación estrella, Remember. Con más de 4,5 millones de usuarios activos en la República de Corea, Remember es un testimonio del compromiso de la empresa con el uso de los datos para generar oportunidades de negocio.

Drama & Company aceleró la investigación de datos en un 80 % con Datalore

Aceptar los desafíos para mejorar la entrega de productos de datos

Drama & Company cuenta con una gran cantidad de datos de usuarios que abarcan diversas áreas, como información sobre tarjetas de visita, historial de contratación, cifras de investigación y métricas de publicidad. Como era de esperar, la gestión de datos tan extensos conllevaba sus propios retos.

«Al crear una cuenta en la aplicación, los usuarios solo proporcionan unos pocos datos personales. Para aportar más valor a otros usuarios de la aplicación, nuestro equipo necesita enriquecer los perfiles de los usuarios con datos de otras fuentes. Por lo tanto, necesitamos un proceso rápido y fiable para la investigación, el procesamiento, el refinamiento y la entrega de datos.»

— Youngrae Lee, responsable del equipo del Centro de big data de Drama & Company

Antes, la empresa utilizaba un servidor Jupyter independiente para sus necesidades de investigación de datos. Sin embargo, esta configuración se enfrentaba a menudo a problemas de rendimiento, sobre todo cuando algunos investigadores utilizaban muchos recursos informáticos. La transferencia de los resultados de la investigación a un proceso de datos, la distribución del código escrito por los investigadores y otras tareas similares resultaban ser arduas y requerían mucho tiempo.

Dados los retos a los que se enfrentaban, Drama & Company se dio cuenta de la necesidad de una plataforma de ciencia de datos más robusta y escalable. El equipo del Centro de big data de Drama & Company tenía dos objetivos principales. En primer lugar, querían mejorar la calidad de sus datos y ampliar su alcance. En segundo lugar, su intención era aumentar la utilización de los datos en toda la empresa para que su organización fuera más competitiva.

Sus requisitos para la nueva plataforma de ciencia de datos incluían:

  1. Fácil acceso a su infraestructura de ingeniería de datos en AWS, incluidas las integraciones con Amazon Glue, Amazon Athena, Amazon S3 y Amazon AuroraDB.
  2. Revisiones de código fluidas entre los investigadores que no se sienten cómodos utilizando Git y los ingenieros de datos.
  3. Entornos de trabajo personalizados para cada investigador con el fin de fomentar la colaboración.
  4. Compatibilidad con instalaciones locales con un proceso de autenticación seguro.
  5. Un sistema que permitiera que las tareas siguieran ejecutándose sin importar el estado del navegador.

Tras analizar varias opciones, Drama & Company eligió Datalore. Estaba disponible como instalación local con autenticación SSO in situ, ofrecía integraciones con fuentes de datos de AWS, tenía integrado un sistema de versiones de notebooks fácil de usar, colaboración en tiempo real en los notebooks y en el espacio de trabajo del equipo, junto con una opción de computación en segundo plano que permitía ejecutar notebooks incluso con el navegador apagado. Además, JetBrains era un proveedor en el que Drama & Company ya confiaba.

Redefinir la colaboración y creación de sinergias con Datalore

A través de Datalore, Drama & Company ha perfeccionado su investigación y gestión de datos. La colaboración es clave en Drama & Company. Su equipo cuenta con cuatro divisiones: Planificación e ingeniería de datos, Ingeniería de fiabilidad de datos, Tarjetas de visita e Ingeniería de plataforma de datos. Cada equipo tiene su propia función, pero todos colaboran estrechamente.

«La interfaz intuitiva y las sólidas funcionalidades de Datalore nos permiten explorar y analizar conjuntos de datos sin problemas. Esto impulsa el aumento de la productividad y promueve la toma de decisiones informadas en todo el equipo.»

— Yeojin Kim, ingeniera de datos en Drama & Company

Características principales de Datalore que utiliza Drama & Company:

  • Conectores de datos sin código para Amazon Glue, Athena, S3 y AuroraDB.

  • Una combinación de SQL y Python utilizada en un notebook de Jupyter.

  • Control de versiones integrado.

  • Colaboración y uso compartido de notebooks y espacios de trabajo en tiempo real.

  • Instalación local y autenticación SSO.

  • Programación de notebooks y computación en segundo plano.

Este es el aspecto de un flujo de trabajo típico con Datalore en Drama & Company:

  1. En primer lugar, en cuanto se inicia un proyecto, los investigadores y los ingenieros de datos crean conjuntamente un espacio de trabajo independiente para él y perfeccionan los objetivos y la metodología de la investigación.
  2. En segundo lugar, los ingenieros de datos configuran el entorno de análisis de datos necesario con las bases de datos SQL requeridas y los buckets de S3 en el espacio de trabajo del proyecto.
  3. «Tener conexiones sin código a Amazon Glue, Athena, S3 y AuroraDB, así como la oportunidad de combinar SQL y Python en un notebook, nos ayudó a reducir los recursos necesarios para la búsqueda, verificación y reelaboración de datos, lo que se traduce en tiempos de investigación más rápidos.»

    — Youngrae Lee, responsable del equipo del Centro de big data de Drama & Company

  4. En tercer lugar, los investigadores realizan sus análisis de datos en notebooks de Datalore y pasan su investigación para que un ingeniero de datos revise el código. Los ingenieros de datos trabajan conjuntamente con el investigador para introducir cambios o correcciones en el código en tiempo real si fuera necesario. Este proceso también sirve como experiencia de aprendizaje para los investigadores y les ayuda a mejorar la forma en que escriben código para lograr una infraestructura de datos eficiente.

  5. Por último, si los datos analizados deben trasladarse inmediatamente a un entorno de producción, el ingeniero de datos descarga el archivo del notebook y se encarga de los procesos. Si los datos necesitan una mayor validación, los investigadores utilizan la función Scheduling de Datalore para probar el notebook durante periodos de tiempo más prolongados en nuevos fragmentos de datos.

«Uno de los mejores aspectos de Datalore para el equipo es que, a diferencia de Jupyter, su trabajo no se detiene aunque se hayan alejado del navegador. Esto significa que pueden dejar su trabajo con confianza y saber que la computación pesada del notebook continúa en segundo plano.»

— Youngrae Lee, responsable del equipo del Centro de big data de Drama & Company

Resultados

Principales beneficios desbloqueados:

50 %

de reducción en el tiempo dedicado a tareas comunes gracias a la mejora de la colaboración.

80 %

de mejora en la velocidad de entrega de los análisis.

La adopción de Datalore ha supuesto un aumento significativo de la eficiencia del equipo. En particular, ha mejorado la colaboración entre varios subconjuntos del equipo de datos, reduciendo el tiempo dedicado a tareas comunes en más de un 50 %. Gracias a la integración fluida de datos, la mejora de las revisiones de código y la aceleración de los ciclos de iteración, el análisis de datos se ha acelerado en un 80 %, lo cual ha aumentado significativamente la capacidad en general de los miembros del equipo.

«Colaborar con mi equipo se ha vuelto una tarea significativamente más eficiente gracias a Datalore. La plataforma destaca a la hora de compartir y analizar datos y código, lo que permite una colaboración y revisión sin fisuras. A diferencia de nuestras herramientas anteriores, Datalore nos permite dividir los notebooks en hojas separadas. Esta funcionalidad nos permite trabajar en diferentes etapas del procesamiento de datos en hojas distintas, mejorando significativamente la legibilidad y la estructura de nuestros informes de análisis»

— Yeeun Im, ingeniera de datos en Drama & Company

Drama & Company cuenta con una gran cantidad de datos de usuarios que abarcan diversas áreas, como información sobre tarjetas de visita, historial de contratación, cifras de investigación y métricas de publicidad. Como era de esperar, la gestión de datos tan extensos conllevaba sus propios retos.

«Creo que muchas empresas tienen las mismas inquietudes que nosotros. Espero que muchas empresas experimenten la maximización y agilización de la colaboración desde el análisis hasta el desarrollo de datos a través de Datalore y compartan muchos conocimientos.»

— Youngrae Lee, responsable del equipo del Centro de big data de Drama & Company

Historias de clientes similares

Constellation Software

Nauman Hafiz, director tecnológico de Constellation

Para ampliar las operaciones de ciencia de datos y proporcionar información valiosa tanto a los clientes como a las partes interesadas internas, Constellation necesitaba una forma de optimizar la colaboración y mejorar la agilidad. Problemas como la generación lenta de informes en las herramientas tradicionales de inteligencia empresarial (Power BI y Looker, concretamente) y los flujos de trabajo inconexos limitaban su capacidad para producir información oportuna y personalizada.

LINE Corporation

Seongduk Cheon, gerente sénior de LINE Corporation

Durante el proceso de evaluación, comprobamos que la experiencia de usuario de Datalore resultaba familiar a nuestros desarrolladores y que la funcionalidad de compartir informes era fácil de utilizar. Gracias a la colaboración de nuestro equipo de ingenieros y del equipo de desarrollo de Datalore, conseguimos satisfacer nuestros requisitos de flujo de trabajo y gobernanza de datos.

Ometria

Regeane, responsable de producto, Ometria

El año pasado, nuestro equipo logró un gran avance con la ayuda de Datalore. Aprovechando su poder, elevamos nuestros servicios de Retail Intelligence a nuevas cotas. A través del desarrollo de servicios internos e informes de datos a medida, nuestro equipo de Customer Success proporcionó información rapidísima, lo que benefició enormemente a nuestros clientes. Este logro destaca como una de las mayores victorias de nuestro equipo en el último año.

Más historias de clientes