Engenheiro de Dados: nova oportunidade em TI

Engenheiro de Dados: nova oportunidade em TI

Profissões tendem a desaparecer e surgir com outras roupagens em um mundo onde a quantidade de conhecimento cresce exponencialmente. Embora esse fenômeno cause crises em algumas áreas, ele pode ser uma nova oportunidade de turbinar a carreira. Profissionais de TI tem sido privilegiados neste sentido. Por exemplo, um Engenheiro ou Cientista de Computação ou Analista de Sistemas pode se sentir renovado com as novas e urgentes necessidades que o mercado atual exige. Além disso, arrisco a dizer que não necessariamente tendo como profissão original a Computação, mas também profissionais vindos de áreas ligadas diretamente a ela como: estatística, matemática e negócio. Mas e sobre o Engenheiro de Dados?

Infelizmente, até profissionais de TI tem dificuldade de explicar o que faz cada profissional da Computação, em especial, a função do Engenheiro de Computação. Para alguns a explicação é que o Engenheiro de Computação ou trabalha com robótica ou automação de modo geral. É até justificável as dúvidas sobre a atuação na área, até porque o CREA (Conselho Regional de Engenharia e Agronomia) não tem isso claro. Mas os últimos anos têm trazido novidades que tornam mais clara a necessidade deste profissional em áreas como a Internet das Coisas (IoT), Cidades Inteligentes (Smart Cities), Big Data, Data Science, Machine Learning etc. Dentro de todas essas novas oportunidades, há uma imensidão de aplicações que pode resolver problemas importantes e essenciais da nossa sociedade. Soluções que impactarão tanto na política com decisões orientadas a dados (gestão pública participativa) ou até na área da saúde, revelando novos conhecimentos para prevenção e tratamento de diversas doenças. Tudo isso depende de um ativo muito importante: o dado.

A era da informação

Engenheiro de DadosO dado é o ativo essencial para uma organização pois é o “novo petróleo” para que os outros ramos profissionais se desenvolvam em plenitude, logo o Big Data merece destaque especial. Big Data são dados gerados em grande escala com alta velocidade e variedade. Estes dados têm sido gerados a partir de diversas fontes como smartphones, sensores, redes sociais e em outros muitos formatos. Portanto, imagine como os dados têm crescido nos últimos anos e, por isso, armazenar e tratar Big Data são grandes desafios dado a grande variedade de fontes e formatos de dados.

Tanto Big Data quanto Ciência de dados são áreas do momento e estão altamente interligadas. A forma como essas áreas estão ligadas é muito importante para entender o porquê do surgimento de um novo profissional: o Engenheiro de Dados. Já tem se tornado bastante conhecido o profissional denominado Cientista de Dados. Este profissional é focado na análise de dados e em gerar “insights” que ajudam o negócio de uma organização, mas que ainda assume outras tarefas que tiram o seu foco principal. Com o amadurecimento da área de Big Data, o mercado entendeu que é essencial deixar que o Cientista de Dados foque apenas no que fazer com os dados.

É importante reforçar que a maioria das empresas armazena dados em diversos formatos seja em bases de dados ou arquivos de texto. E é aí que surge a necessidade de um profissional com perfil diferente do Cientista de Dados. Geralmente, o dado não está preparado para o uso imediato do Cientista de Dados.

O papel do Engenheiro de dados

O mercado de Big Data então começou a demandar profissionais capacitados em criar canais confiáveis para transformação de dados, combinar fontes de dados em diferentes formatos, criar arquitetura de soluções e colaborar com a equipe de Ciência de Dados construindo soluções inteligentes com alto desempenho e escaláveis. Fazer com que os dados sejam transformados em um formato útil para análise de uma equipe de Cientistas de Dados ou de outros analistas é um grande desafio. Para atingir esse objetivo, várias habilidades são essenciais: saber dimensionar a capacidade computacional e de armazenamento de servidores, escolher soluções de Big Data adequadas ao problema tratado, saber quando usar um determinado algoritmo de Machine Learning aproveitando da melhor forma possível as arquiteturas paralelas e distribuídas de computadores atuais. Logo, o Engenheiro de Dados é o profissional que é capaz de potencializar o uso de tecnologias diferentes em hardwares atuais cada vez mais poderosos computacionalmente. Em outras palavras, o Engenheiro de Dados deve ser capaz de criar meios que transformem a massa de dados em formatos analisáveis pelo Cientista de Dados. Esse meio é conhecido na área de Big Data como pipeline. O pipeline é um processo composto pelas operações de ingestão, processamento, armazenamento e acesso de dados.

Além disso, vale destacar que o Engenheiro de Dados tem perfil generalista e é focado no pipeline e em bases de dados em geral. O profissional que deseja ser Engenheiro de Dados deve começar aprendendo uma linguagem de programação como Python, como arquitetar sistemas distribuídos, como o Hadoop e Spark, sobre armazéns de dados, e também criar pipelines confiáveis, como combinar diversas fontes de dados, como colaborar com a equipe de Ciência de Dados. Outro fator importante é a comunicação entre o Engenheiro de Dados e o Cientista de Dados. Este favor é vital para o sucesso da empresa que deseja trabalhar com Big Data, pois um profissional depende que o outro faça seu trabalho de forma eficiente e eficaz. A Engenharia de Dados é uma área promissora que pode ser a especialidade de diversos profissionais de TI que desejam expandir seu leque de conhecimento e habilidades.

Anterior Symfony 4: O que mudou?
Próxima Linux criado pela Microsoft será lançado em breve

About author

Leonardo Afonso Amorim
Leonardo Afonso Amorim 2 posts

Bacharel em Engenharia de Computação pela PUC-GO. Mestre em Ciência da Computação pela UFG com foco em Inteligência Computacional. No mestrado criou os agentes de mineração de dados e suporte à decisão para o projeto ADGEPA (Assistente Digital de Gestão Pública Participativa). Doutorando em Ciência da Computação pela UFG com pesquisa sobre algoritmos eficientes e escaláveis e suas implementações paralelas em arquiteturas multicore e manycore a fim de acelerar tarefas de busca de documentos por similaridade usando técnicas de Machine Learning. Também na UFG faz pesquisa sobre aplicação de Machine Learning para Reparo Automatizado de Software. Lecionou sobre Inteligência Artificial/Computacional para Engenharia de Computação na Universidade Federal de Goiás. É Analista de Infraestrutura Sênior e Engenheiro de Dados. Possui sólidos conhecimentos em infraestrutura Linux, programação Java/Python, Hadoop e ensino. Experiência adquirida no mestrado e doutorado com os seguintes algoritmos: kNN, kMeans, Regras de Associação, Redes Neurais Artificiais, Processamento Natural de Linguagem com Word2Vec, Sistemas Multiagentes, Algoritmos Genéticos e Programação Genética. Além disso possui experiência em ensino técnico (Redes Linux com ênfase em Segurança) e programação Java. Ministrou mais de 100 cursos. Possui as seguintes certificações em TI: LPIC-1, LPIC-2 e LPIC-3 Security (Linux Professional Institute), Novell Certified Linux Administrator (Suse Linux Enterprise).

View all posts by this author →

Você pode gostar também

Infraestrutura

Forecast e timeleft: faça previsões no Zabbix

A partir da versão 3.0 do Zabbix dois novos recursos, o forecast e timeleft, permitem fazer previsões sobre análise de dados coletados e criar alertas que antecipem problemas em potenciais.

Big Data

MongoDB Sharding

Sharding, no MongoDB,  consiste uma forma para distribuir informações através de múltiplos servidores, dispondo de um grande cluster de dados. O Recurso de Sharding é utilizando quando se trabalha com

Infraestrutura

Zimbra: com remover e-mail enviado por engano

Em um dos meus projetos de zimbra recebi aquela pergunta que todo analista de T.I. já recebeu: ” Enviei e-mail errado  e foi para toda a empresa, preciso apagar este