Big Data
Compartilhar:
As perguntas nesta seção foram mostradas para desenvolvedores envolvidos em Análises de Dados, Engenharia de Dados, Machine Learning ou para aqueles cuja função era Analista de Dados/Engenheiro de Dados/Cientista de Dados. Esta pesquisa foi direcionada especificamente para desenvolvedores e, portanto, os resultados podem não representar o público mais amplo de big data.
Profissionais que não estão envolvidos na criação de pipelines de dados usam bancos de dados relacionais tradicionais para criar data lakes. O Spark continua a ser a ferramenta mais popular para processamento em lotes e streaming.
Previsivelmente, o Apache Airflow é a ferramenta de orquestração mais popular, especialmente entre os engenheiros de dados. Curiosamente, 10% das ferramentas de orquestração são personalizadas ou autoconstruídas.
O Kubernetes, o YARN e o Amazon EMR são as soluções de nuvem mais populares para a execução do Spark.
A grande maioria dos entrevistados não utiliza ferramentas de MPP. BigQuery, Redshift e Azure SQL Data Warehouse são os instrumentos mais populares.
Obrigado pelo seu tempo!
Esperamos que você tenha achado nosso relatório útil. Compartilhe este relatório com seus amigos e colegas.
Se tiver dúvidas ou sugestões, entre em contato conosco em surveys@jetbrains.com.