Setor: Desenvolvimento de software

Produtos da JetBrains usados: Datalore

Tamanho da organização: 100+

País: República da Coreia

Sobre a Drama & Company

Como uma empresa de TI focada em "conectar oportunidades de negócios", a Drama & Company causou grande impacto no setor de recrutamento com seu aplicativo principal: o Remember. Com mais de 4,5 milhões de usuários ativos na República da Coreia, o Remember é uma prova do compromisso da empresa em usar dados para gerar oportunidades de negócios.

A Drama & Company acelerou a pesquisa de dados em 80% com o Datalore

Enfrentando os desafios para melhorar o fornecimento de produtos de dados

A Drama & Company possui dados abundantes de usuários que abrangem diversas áreas, incluindo informações de cartões de visita, histórico de recrutamento, números de pesquisas e métricas de publicidade. Não é de surpreender que o gerenciamento de dados tão extensos trouxesse seu próprio conjunto de desafios.

"Ao criar uma conta no aplicativo, os usuários fornecem apenas algumas informações pessoais. Para agregar mais valor a outros usuários do aplicativo, nossa equipe precisa enriquecer seus perfis com dados de outras fontes. Portanto, precisamos de um processo rápido e confiável para pesquisa, processamento, refinamento e entrega de dados."

— Youngrae Lee, chefe da equipe do centro de Big Data da Drama & Company

Antes, a empresa usava um servidor Jupyter independente para suas necessidades de pesquisa de dados. No entanto, essa configuração costumava enfrentar problemas de desempenho, especialmente quando alguns pesquisadores usavam muitos recursos computacionais. Transferir os resultados da pesquisa para um pipeline de dados, distribuir o código escrito pelos pesquisadores e outras tarefas semelhantes provaram ser tarefas difíceis e demoradas.

Diante dos desafios que enfrentavam, a Drama & Company percebeu a necessidade de uma plataforma de ciência de dados mais robusta e escalável. A equipe de Big Data Center da Drama & Company tinha dois grandes objetivos. Primeiro: melhorar a qualidade dos dados e expandir seu alcance. Segundo: aumentar a utilização de dados em toda a empresa para tornar a organização mais competitiva.

Seus requisitos para a nova plataforma de ciência de dados incluíam:

  1. Fácil acesso à sua infraestrutura de engenharia de dados na AWS, incluindo integrações com o Amazon Glue, o Amazon Athena, o Amazon S3 e o Amazon AuroraDB.
  2. Revisões de código contínuas entre pesquisadores que não se sentem confortáveis em usar Git e engenheiros de dados.
  3. Ambientes de trabalho personalizados para cada pesquisador a fim de promover a colaboração.
  4. Suporte para instalação local com processo de autenticação seguro.
  5. Um sistema que permitiu que as tarefas continuassem em execução independentemente do status do navegador.

Depois de analisar diversas alternativas, a Drama & Company escolheu o Datalore. Ele foi disponibilizado como uma instalação local com autenticação SSO realizada localmente, oferecendo integrações com fontes de dados da AWS, controle de versão de notebooks fácil de usar, colaboração em tempo real em notebooks e no espaço de trabalho da equipe, juntamente com a opção de realizar computação em segundo plano, o que permitia a execução de notebooks mesmo com o navegador desligado. Além disso, a JetBrains já era um fornecedor de confiança da Drama & Company.

Redefinindo a colaboração e criando sinergia com o Datalore

Por meio do Datalore, a Drama & Company aprimorou sua pesquisa e gerenciamento de dados. A colaboração é fundamental na Drama & Company. Sua equipe tem quatro divisões: Planejamento e Engenharia de Dados, Engenharia de Confiabilidade de Dados, Cartões de Visita e Engenharia de Plataforma de Dados. Cada uma tem sua função, mas todas trabalham juntas e em estreita colaboração.

"A interface intuitiva e as funcionalidades robustas do Datalore nos permitem explorar e analisar conjuntos de dados perfeitamente. Isso aumenta a produtividade e promove a tomada de decisões informadas em toda a equipe."

— Yeojin Kim, engenheira de dados da Drama & Company

Principais recursos do Datalore usados pela Drama & Company:

  • Conectores de dados sem código para o Amazon Glue, o Athena, o S3 e o AuroraDB.

  • Uma combinação de SQL e Python usada em um notebook Jupyter.

  • Controle de versão integrado.

  • Colaboração e compartilhamento em tempo real de notebooks e espaços de trabalho.

  • Instalação local e autenticação SSO.

  • Agendamento de notebooks e computação em segundo plano.

Esta é a aparência de um fluxo de trabalho típico com o Datalore na Drama & Company:

  1. Em primeiro lugar, assim que um projeto é iniciado, pesquisadores e engenheiros de dados criam em conjunto um espaço de trabalho separado para ele e aprimoram os objetivos e a metodologia da pesquisa.
  2. Em segundo lugar, os engenheiros de dados configuram o ambiente de análise de dados necessário com os bancos de dados SQL e buckets do S3 necessários no espaço de trabalho do projeto.
  3. "Ter conexões sem código com o Amazon Glue, o Athena, o S3 e o AuroraDB, bem como a oportunidade de combinar SQL e Python em um só notebook, nos ajudou a reduzir os recursos necessários para pesquisa, verificação e retrabalho de dados, resultando em tempos de pesquisa mais rápidos."

    — Youngrae Lee, chefe da equipe do centro de Big Data da Drama & Company

  4. Em terceiro lugar, os pesquisadores conduzem suas análises de dados em notebooks do Datalore e enviam suas pesquisas para uma revisão de código por parte de um engenheiro de dados. Os engenheiros de dados trabalham em conjunto com o pesquisador para fazer alterações ou correções no código em tempo real, se necessário. Esse processo também serve como experiência de aprendizagem para os pesquisadores, ajudando-os a melhorar a escrita do código para uma infraestrutura de dados eficiente.

  5. Por último, se os dados analisados precisarem ser movidos imediatamente para um ambiente de produção, o engenheiro de dados baixa o arquivo do notebook e cuida do pipeline. Se os dados precisam de validação adicional, os pesquisadores usam o recurso de agendamento do Datalore para testar o notebook por períodos mais longos em novos blocos de dados.

"Uma das melhores coisas do Datalore para os membros da equipe é que, diferentemente do Jupyter, o trabalho não para mesmo que eles se afastem do navegador. Isso significa que eles podem deixar o trabalho com segurança, sabendo que a computação pesada do notebook continua em segundo plano."

— Youngrae Lee, chefe da equipe do centro de Big Data da Drama & Company

Resultados

Principais benefícios liberados:

50%

menos tempo gasto em tarefas comuns graças a melhorias na colaboração.

80%

melhoria na velocidade de entrega de análises.

A adoção do Datalore levou a um aumento significativo na eficiência da equipe. Particularmente, houve melhorias na colaboração entre vários subconjuntos da equipe de dados, reduzindo em mais de 50% o tempo gasto em tarefas comuns. Graças a integrações de dados suaves, revisões de código aprimoradas e ciclos de iteração mais rápidos, a análise de dados foi acelerada em 80%, melhorando significativamente a capacidade geral dos membros da equipe.

"A colaboração com minha equipe tornou-se significativamente mais eficiente graças ao Datalore. A plataforma é excelente no compartilhamento e análise de dados e códigos, permitindo colaboração e revisão contínuas. Ao contrário das nossas ferramentas anteriores, o Datalore nos permite dividir notebooks em planilhas separadas. Essa funcionalidade nos permite trabalhar diferentes etapas do processamento de dados em planilhas distintas, melhorando significativamente a legibilidade e a estrutura dos nossos relatórios de análises"

— Yeeun Im, engenheira de dados da Drama & Company

A Drama & Company possui dados abundantes de usuários que abrangem diversas áreas, incluindo informações de cartões de visita, histórico de recrutamento, números de pesquisas e métricas de publicidade. Não é de surpreender que o gerenciamento de dados tão extensos trouxesse seu próprio conjunto de desafios.

"Acho que muitas empresas têm as mesmas preocupações que nós. Espero que muitas delas experimentem a maximização e agilização da colaboração desde a análise até o desenvolvimento de dados por meio do Datalore e compartilhem muito conhecimento."

— Youngrae Lee, chefe da equipe do centro de Big Data da Drama & Company

Histórias de clientes semelhantes

Constellation Software

Nauman Hafiz, CTO da Constellation

A Constellation precisava de uma maneira de otimizar a colaboração e aumentar a agilidade, para escalar as operações de ciência de dados e fornecer insights valiosos tanto aos clientes quanto às suas próprias partes interessadas. Sua capacidade de produzir insights personalizados e no prazo era limitada por problemas como a geração lenta de relatórios nas ferramentas tradicionais de inteligência de negócios (especificamente, no Power BI e no Looker) e fluxos de trabalho desconectados.

LINE Corporation

Seongduk Cheon, gerente sênior da LINE Corporation

Durante o processo de avaliação, descobrimos que a UX (experiência do usuário) do Datalore era familiar para nossos desenvolvedores e que a funcionalidade de compartilhamento de relatórios era fácil de usar. Graças à colaboração da nossa equipe de engenharia e da equipe de desenvolvimento do Datalore, conseguimos satisfazer nossos requisitos de fluxo de trabalho e governança de dados.

Ometria

Regeane, Gerente de Produtos, Ometria

No ano passado, nossa equipe alcançou um avanço revolucionário com a ajuda do Datalore. Aproveitando seu poder, levamos nossos serviços de Inteligência de varejo a novos patamares. Através do desenvolvimento de serviços internos e relatórios de dados personalizados, nossa equipe de sucesso do cliente forneceu insights extremamente rápidos, beneficiando enormemente nossos clientes. Essa conquista se destaca como uma das maiores vitórias da nossa equipe no ano passado.

Mais histórias de clientes