Data Engineer ou Engenheiro de Dados - Conheça mais sobre
março 24, 2020 julho 27, 2021 by Marco Garcia
As atividades do Engenheiro de Dados estão ligadas a estruturação de dados, ingestão, modelagem e criação de estruturas de dados para Analytics, Data Science e Business Intelligence
Também conhecido como Data Engineer é um profissional que tem ganho muito espaço dentro das empresas desde a chegada do advento do Big Data e Data Science.
O Data Engineer é o profissional responsável por garantir que os dados (informações) estejam fluindo das origens até os destinos corretos, trabalhando no desenvolvimento de fluxos de dados ( data flows ) ou também chamados como pipelines. Existem diversas ferramentas e linguagens de programação para o desenvolvimento de fluxos.
O que faz um Engenheiro de Dados ?
O Engenheiro de Dados tem sua rotina de trabalho ligada ao desenho e desenvolvimento de procedimentos e objetos para armazenamento de dados, normalmente as rotinas são processos de carga (ETL) ou Ingestão de Dados.
Dentro dessas rotinas também estão os procedimentos de tratamento, limpeza e qualidade de dados
A Ingestão de Dados é um termo muito recorrente no mundo de Big Data, onde os dados são inseridos dentro de uma estrutura geralmente não relacional de dados ( para quem está acostumado com bancos de dados relacionais (RDBMS) ) essas estruturas podem ser baseadas em file system open source como Hadoop ou sistemas de Cloud.
No Hadoop o file system utilizado é o HDFS, sistemas de cloud possuem suas próprias tecnologias como S3 da AWS ou Blob Storage da Azure, além do File System do Google Cloud.
Também é responsável por alimentar o Data Warehouse ou Data Lake da Empresa.
Qual a Formação de um Data Engineer ?
Atualmente não existe uma formação superior ( pelo menos até agora – Março 2020 ) em Engenharia de Dados, claro que deve surgir, algo em breve. Geralmente são formados em tecnologia e se especializam em Engenharia de Dados através de treinamentos específicos ou mesmo especializações de Mercado.
Softwares para uso em Engenharia de Dados.
Os softwares podem ser diversos :
Open Source – Hadoop, Spark ( python, scala ou R ), Sqoop, Flink, Apache Nifi, entre outros.
Integração e ETL como – Informatica Power Center, SSIS, etc.
Softwares do Cloud utilizado, seja AWS, Azure ou Google Cloud.
Outras Atribuições do Engenheiro de Dados
A posição é muito ampla e digamos até mesmo complexa, é bastante comum vermos engenheiros de dados fazendo modelagem e construção de estruturas de dados em clustes de big data, bancos nosql ou mesmo bancos de dados relacionais.
A construção de relatórios e dashboards também acontece com bastante frequencia, dependendo muito do tamanho do projeto e da equipe colocada ao trabalho.
Mas de uma maneira muito simples o engenheiro de dados é o cara principal das Integrações e Processamentos de Dados dentro de um Ambiente de Big Data.
Conheça mais em outros artigos :
Salário de Engenheiro de Dados
Segundo o site Vagas o salário médio de um engenheiro de dados é de R$ 7.700,00, mas bastante comum encontrar salários na faixa de R$ 10.000,00 ou valores superiores, considerando contratação CLT. Em vagas PJ ( Pessoa Jurídica ) encontramos de profissionais na faixa de R$ 20.000,00, claro com muita experiência.