As perguntas nesta seção foram mostradas para desenvolvedores envolvidos em Análises de Dados, Engenharia de Dados, Machine Learning ou para aqueles cuja função era Analista de Dados/Engenheiro de Dados/Cientista de Dados. Esta pesquisa foi direcionada especificamente para desenvolvedores e, portanto, os resultados podem não representar o público mais amplo de big data.

Big Data

Quais pacotes de estatísticas você usa para analisar e visualizar dados?

Editores de planilhas são as ferramentas mais utilizadas para análises e visualização de dados (46%).

Quais plataformas de análise de big data você usa?

A maioria dos desenvolvedores de big data não usa plataformas de análise de dados específicas (68%). A plataforma de análise de dados mais comum usada é o Google Colab (19%).

Qual ferramentas de big data você usa?

O Jupyter é a ferramenta de big data mais popular, usada por 32% dos desenvolvedores de big data. Outras ferramentas populares são o Apache Spark (20%) e o Apache Kafka (17%).

Que versão do Spark você usa?

Onde a maioria de seus dados está hospedada?

Os dados são hospedados principalmente em servidores internos (36%) ou localmente (26%). A AWS é usada para hospedagem de dados por 21% dos entrevistados, outros tipos de hospedagem são menos comuns.

O negócio principal da sua empresa é TI?

Os especialistas em machine learning costumam trabalhar em empresas de TI.

Em qual dos seguintes setores sua empresa atua principalmente?

Em setores não relacionados a TI, os engenheiros de dados são mais comumente empregados nos setores financeiros, enquanto os especialistas em machine learning trabalham com mais frequência nos setores de educação e ciências.

Em qual dos seguintes setores sua empresa atua principalmente?

Uso do Python, Scala e Java junto com o Apache Spark

O Python é usado junto com o Apache Spark por 66%, o Java por 34% e o Scala por 11%.

As dez principais combinações de ferramentas de big data usadas

10% usam o Apache Spark e o Apache Kafka. 9% usam o Apache Spark e o Apache Hadoop.

As três principais linguagens usadas com o Apache Kafka

As três linguagens mais populares usadas junto com o Apache Kafka são o Python, o Java e o SQL.

Proporção entre Python/R nos EUA, na Europa, na Rússia e na Ásia

O R é mais amplamente usado na Rússia (5%), enquanto o Python é mais amplamente usado na Ásia (59%).

Linguagem principal por uso de hospedagem de big data

O Python e o Java são mais comumente usados com o Google Cloud, o JavaScript e o PHP são mais comumente usados com a AWS e o C# é mais comumente usado com o Azure.

Uso de ferramentas de big data por uso de hospedagem de big data

O Jupyter e o Apache Beam são mais comumente usados com o Google Cloud. O Apache Spark e o Apache Kafka são mais comumente usados entre os usuários da AWS.

Linguagem principal por envolvimento em análises de dados/engenharia de dados/machine learning

Especialistas em machine learning usam mais comumente o Python, o C++ e o C e menos comumente usam o SQL e o PHP em comparação com desenvolvedores envolvidos em Análises de dados e Engenharia de dados.

Linguagem principal por setor

O Python e o R são mais comumente usados por desenvolvedores envolvidos em educação e ciência.

Uso de ferramentas de big data por setores

O Jupyter é mais comumente usado nos setores de educação e ciência. O Apache Spark, o Apache Kafka, o Apache Hadoop e o Apache Hive são usados com mais frequência no setor bancário.

Participação de uso do Apache Spark por país ou região

As maiores parcelas de usuários do Apache Spark estão na China, Índia, Coreia do Sul, Espanha e América Latina.

Obrigado pelo seu tempo!

Esperamos que você tenha achado nosso relatório útil. Compartilhe este relatório com seus amigos e colegas.

Participe do Laboratório de Insights de Tecnologia da JetBrains

Participe de pesquisas e estudos de experiência do usuário para tornar os produtos da JetBrains mais fáceis de usar, porém ainda mais poderosos. Você também terá a oportunidade de ganhar recompensas por participar das nossas pesquisas.

Se tiver dúvidas ou sugestões, entre em contato conosco em surveys@jetbrains.com.