Chegou a hora de entender de uma vez por todas do que se trata a Engenharia de Dados. É um campo recente que muitas empresas ainda não conhecem, mas deveriam porque se trata de uma área de muita importância para os negócios.

Um exemplo básico seria a lista de compras do mês da sua própria casa. Imagine que você listou os produtos da maneira em que foi lembrando, por exemplo: carne, shampoo, desinfetante, guardanapos, etc. Perceba que a lista está desordenada, que chamamos de estado bruto. A melhor maneira de aproveitar essa listagem seria separando-a por grupos: alimentos, higiene pessoal, limpeza e utilidades.

A organização desses itens é o que a Engenharia de Dados faz com as informações das empresas, mas, evidentemente, numa escala infinitamente maior e utilizando softwares e algoritmos, já que um ser humano não conseguiria ordenar a quantidade e complexidade desses dados.

Percebeu o quanto é importante contar com a Engenharia de Dados no seu negócio?

Para entender um pouco mais, André Coelho, Engenheiro de Dados da Projetas, explica o que faz esse profissional na prática.

“As principais atividades de um engenheiro de dados é migrar dados, tratar esses dados e aplicar as melhores práticas de mercado no tratamento dessas informações, sempre cuidando do que é mais importante para o cliente, os seus dados”, explica Coelho.

O principal foco dos engenheiros é criar processos de tratamento de dados ETLs (extração, transformação, carregamento), que correspondam com as regras de negócio do cliente, pensando na performance do tratamento dessas regras.

“É necessário conhecer muito de banco de dados, é claro que estamos falando de um Engenheiro de Dados e é natural que para exercer essa função é preciso conhecer sobre banco de dados, criar funções, views, tabelas, bancos etc. É imprescindível ter esse conhecimento. Também é muito importante ter conhecimento em ambiente de controle de códigos e em linguagem de programação,(ponto?) durante a migração de dados o engenheiro usará uma linguagem para fazê-lo, diariamente utilizamos Python e/ou R. Ou seja(Portanto), ter bons conhecimentos em banco de dados e linguagem de programação voltada para ETL dará um bom norte para ser um Engenheiro de dados”.

Engenharia de Dados e Cientista de Dados, qual a diferença?

Por se tratar de uma profissão recente, muita gente ainda não a conhece. Talvez por isso exista a confusão entre ambas as profissões. Para tirar essa dúvida, Coelho explica timtim por timtim a diferença entre elas.

“Como vimos anteriormente, o Engenheiro de Dados é o responsável por desenvolver, construir, testar e dar manutenção no processo de coleta e entrega de dados. Já o Cientista de Dados, profissão também em alta no mercado, é responsável por limpar, organizar e aplicar metodologias baseadas em estatísticas pré definidas”, finaliza Coelho.

Quais ferramentas o Engenheiro de Dados utiliza no dia a dia?

Para encerrar, Coelho disponibiliza abaixo uma série de ferramentas bastante utilizadas pelos os Engenheiros de Dados:

• Ferramentas de SGBD, ambiente de desenvolvimento de scripts
• Banco de dados RedShit
• Ambiente de desenvolvimento Visual Studio Code
• Controle de código git
• Orquestração AirFlow, Jenkins e por aí vai.

Neste artigo, você entendeu a importância da Engenharia de Dados para o seu negócio e conheceu um pouco mais sobre essa profissão tão desejada no mercado. Se sua empresa precisa de apoio na organização dos dados ou se você é um Engenheiro de Dados com alta qualificação, não deixe de falar com a Projetas.

Até a próxima.

Contribuiu com esse artigo!
André Neves Coelho, Engenheiro de Dados Pleno, com Formação em Segurança da Informação e Pós-graduado (MBA) em Engenharia de Software. Suas especialidades são Desenvolvimento (Python, VB, Shell Script e Autoit), Banco de dados (Oracle, SQL Server, Mysql, Redshift e Mongo) e Automação (Jenkins, AirFlow). André ainda possui as certificações ISO/IEC 27001 INFORMATION SECURITY e ISO 9001 QUALITY MANAGEMENT SYSTEM.