Agora vamos para a segunda etapa do ETL: ‘transform’, ou seja, transformação. Significa você adaptar os dados segundo o propósito que deseja, ou seja, remover colunas desnecessárias, limpar registros inválidos (como, por exemplo, valores ‘missing’), substituir sequência de caracteres por outros em alguma coluna ou linha, renomear ou criar novas colunas e por aí vai (são muitas possibilidades). Essa etapa é de suma importância, porque na prática a base de dados raramente vem ‘bonitinha’, pronta para ser utilizada, antes precisamos passar um pente fino eliminando sujeiras e adaptando segundo as nossas necessidades. Revendo o exemplo anterior, suponha que nessas duas planilhas tem um campo contendo a data de publicação de um post, porém o formato está diferente em ambos os arquivos. No primeiro a data está no formato DD/MM/AAAA (sendo D dia, M mês, A ano com 4 dígitos). No outro a data está no formato MM/DD/AA (note que aqui a ordem entre mês e dia está invertida e ano está com apenas dois dígitos). Logo precisamos definir um padrão, um formato a ser utilizado. Veja abaixo:
Agora que os dados estão organizados, limpos, ajustados, faremos a carga que pode ser em diferentes destinos: banco de dados, geração de arquivo final consolidado, um data warehouse (um tipo de banco de dados otimizado para relatórios e análises através de ferramentas OLAP) entre outros. Veja:
O processo do ETL, é o que mais demanda tempo dos profissionais de dados, diria cerca de 80%. E dependendo do porte da empresa e da complexidade dos projetos, existem profissionais especializados somente no processo ETL. Embora pareça fácil, acredite: não é algo trivial e precisa de muita cautela para não ter impacto negativo no restante do processo da Ciência de Dados.
Embora tenha citado o processo ETL como o primeiro, não pense que será executado necessariamente uma única vez. Pode acontecer e é bastante comum executá-lo diversas vezes, até que se alcance os resultados esperados.