Master em Data Engineering & Data Science - ESPM
Conhecer conceitos de tecnologias de captura, armazenamento, organização, exploração e de enriquecimento de dados.
Aprender e praticar em variadas tecnologias técnicas construtivas e/ou exploratórias de dados.
Criar Data Warehouse, Data Lake, desde seus conceitos até sua prática em ferramentas de programação, de manipulação de dados, de bancos de dados relacionais e não relacionais, utilizadas em grandes organizações varejistas, de telecom e em segmentos financeiros, segmentos esses que estão na vanguarda dessa nova onda.
Em um ambiente colaborativo, alunos e professores construíram variados modelos, a fim de atender a vários desafios técnicos proporcionados por desafios a serem vistos durante o curso, com empresas parceiras, proporcionando maior realismo no aprendizado dos conceitos e técnicas aprendidas ao longo do curso
Profissionais das mais diversas áreas que atuam diretamente com tomada de decisão que estejam preocupados em elaborar estratégias de gestão centradas em dados, isto é, desejosos em serem mais assertivos e menos sujeitos a determinados vieses em suas decisões.
Gestores de todos os níveis desejosos em, de fato, usar dados no seu dia-a-dia, não como discurso, mas como ferramenta efetiva para transformação de organizações.
Recém formados de áreas de negócio, administradores, publicitários, gestores de políticas nacionais e internacionais, profissionais de sistemas de informação e todos aqueles jovens profissionais que percebem quanto suas carreiras serão impactadas pela mudança que dados geram, quer sejam nas empresas, quer seja na eleição de líderes mundiais.
Empresas inovadoras, bancos, telecoms, redes varejistas, fábricas e todas organizações desejosas em transformar seus dados e informações em instrumento efetivo para uma gestão embasada e coerente.
O curso possui 390 horas, todas as disciplinas possuem no mínimo duas aulas por web conferência com o professor-tutor para que o estudante possa interagir diretamente e esclarecer dúvidas. Essas aulas serão conduzidas ao vivo, no horário das 19h30, permanecendo gravadas no ambiente virtual de aprendizagem para que o estudante possa assisti-la mais de uma vez ou, no caso de estar impossibilitado de assistir ao vivo, possa assistir a gravação.
Etapa 1: Formação em CDO - Chief Data Officer
Em cada linha de formação do curso haverá uma disciplina de Projeto, que será responsável por apresentar a estrutura e o funcionamento geral da etapa, o funcionamento do ambiente de aula e todos os objetivos a serem conquistados. Cada projeto terá a aplicação prática de referenciais teóricos, conceitos e metodologias abordados ao longo da respectiva etapa. O projeto terá o monitoramento de um orientador, que atuará como facilitador para seu desenvolvimento e, quando finalizado, será submetido a uma banca de avaliação, havendo sempre a participação de empresas que ficarão responsáveis pelos requisitos do desafio.
Numa era onde a incerteza é a única certeza, muitas empresas ainda são geridas centradas em opiniões e palpites, todavia para lograr êxito no cenário altamente complexo e competitivo que vivemos, é fundamental entender que sem um efetivo planejamento estratégico, embasado em técnica já clássicas, como o BSC e em atuais, como OKR, dificilmente esse êxito será alcançado. A disciplina foca na apresentação do Planejamento Estratégico e demais técnicas, sendo responsável pelo entendimento de conceitos de indicadores e sua construção.
Tecnologias: Não há.
Seria possível entender dados como ativos? Como gerenciar dados, que estão por todos os lugares? A Governança de Dados é um dos aspectos empresariais mais importantes, quando falamos de dados, pois orienta e conduz quem acessa os dados da organização, para quais finalidades e por quais meios, por isso é extremamente importante para qualquer segmento empresarial. Em tempos de LGPD, a Governança de Dados tratará não apenas dos aspectos necessários para a gestão da empresa, mas também da legislação que pode ser um enorme risco para organizações que não se preparem adequadamente. Mas, como estar preparado? Usando uma framework criada para isso, a chamada DAMA (Data Management). O DAMA-DMBOK provê uma estrutura para construção da política até a operacionalização da gestão do dado, aspecto central de Governança de Dados.
Base da Engenharia e da Ciência de Dados, Arquitetura de Dados apresenta técnicas construtivas de modelos transacionais até modelos analíticos. Tratará desde tecnologias clássicas como a modelagem relacional, passando pela construção de repositórios para dados relacionais (Data Warehouse) e de dados de outras naturezas (tecnologias NOSQL), concluindo com a apresentação de tecnologias como o ecossistemas Hadoop e de estruturas arquitetônicas atuais, como a Arquitetura Lambda. Arquitetura de Dados é a responsável pela integração conceitual das demais disciplinas, em geral práticas ou centradas em práticas, dentro de um conceito geral para organizações data-driven.
Tecnologias: Ferramentas de Modelagem de Dados (WorkBench)
Etapa 2: Formação em Engenharia de Dados - Arquitetura
Os dados relacionais, aqueles que se originam dos ERPs, dos CRMs e dos sistemas departamentais, são fundamentais para a operação das organizações. Todavia, esses dados, quando organizados convenientemente, permitem a análise das organizações. Dados relacionais nesse contexto abordará desde técnicas construtivas de modelos relacionais e dimensionais, também contemplando o ensino e aprendizado prático da linguagem SQL, principal linguagem de acesso a dados relacionais.
Tecnologias: WorkBench e MySQL
Dados Não Relacionais:
O fenômeno Big Data é, em geral, relacionado ao aumento da variedade dos dados, que deixaram de ser apenas relacionais, da velocidade em que os dados são gerados, dos volumes que ocupam e da complexidade que adquiriram. Em resposta a esse conjunto de necessidades, surgiram os bancos de dados NOSQL, cada um deles respondendo da sua maneira, a tais necessidades. Aqui você aprenderá, na prática, a trabalhar com tecnologias NOSQL como as de Chave-Valor, Orientadas a Documento, Colunares e orientadas a grafos.
Tecnologias: Neo4j, Redis, MongoDB, Cassandra, entre outras
Para todo processo de construção de cenários analíticos, inicialmente é necessária a captura dos dados estruturados e dos não estruturados e seu armazenamento. Como fazer isso usando conjuntos de tecnologias, por exemplo, no ecossistema Hadoop é um dos objetivos de Armazenamento de Dados, que também trabalhará conceitos de dados armazenados localmente ou em nuvem.
Tecnologias: Hadoop e seu ecossistema. Nuvem (Oracle/AWS)
Vivemos em um novo contexto em que as abordagens arquitetônicas de software tradicionais passaram a conviver com uma abordagem nova: a de Microsserviços. O software passou a ser construído em pequenos serviços independentes, que se comunicam utilizando APIs cuidadosamente definidas, que permite a construção de aplicações passo-a-passo, facilitando melhorias e correções. Aqui conceitos de virtualização e uso de tecnologias como Docker serão cuidadosamente discutidas e analisadas.
Tecnologias: Docker
Etapa3: Formação em Engenharia de Dados - Desenvolvimento
Quando falamos em construir um Data Warehouse, precisaremos "popular um repositório de dados". O processo de extração, transformação e carga (ou ETL) é o responsável por essa fundamental etapa. ETL versará então sobre técnicas construtivas e em práticas, usando ferramentas de mercado, para real compreensão do processo de que leva um dado genuinamente operacional, a ser transformado em poderosa fonte de conhecimento e de insights para executivos.
Tecnologias: Alteryx
Quando se pensa na construção de um Data Lake ("lago de dados", em português), depois de seu desenho e arquitetura, chega-se a etapa de "enchimento" da represa. O primeiro passo é justamente a aquisição de dados não estruturados, suas técnicas e tecnologias envolvidas. Um conjunto de ferramentas existentes, tanto para armazenamento em estruturas não relacionais, como em Hadoop e em bancos de dados NOSQL, são o alvo de Ingestão de Dados.
Tecnologias: NiFi
A construção de um Data Lake, o estudo de seus processos e a aplicação da arquitetura e seus componentes é o alvo de Data Lake. Através do uso de várias tecnologias vistas em outras disciplinas, Data Lake integra várias tecnologias no intuito de consolidar conceitos através de prática intensiva.
Tecnologias: Várias usadas em outras disciplinas
A preparação de dados, ou "Data Wrangling", tornou-se conhecimento muito desejável, na medida que, por melhor que seja um Data Mart, sempre é necessária alguma adaptação, enriquecimento e mesmo correção. O processo de ajuste a cada nova carga tornou-se proibitivo, gerando a necessidade de maiores conhecimentos e de softwares mais recursivos para preencher uma lacuna entre os cubos dimensionais e as ferramentas de visualização de dados. Em Data Preparation. além da conceituação e de técnicas a serem empregadas, serão feitas preparações de dados, prática cada vez mais comum no mercado.
Tecnologias: Tableau Prep Builder e Alteryx
Etapa4: Formação em Ciência de Dados - Técnicas
Em vez de usarmos como estratégia a criação de um pomposo nome, mas que na prática seja somente estatística aplicada a dados, a disciplina Estatística Aplicada irá trabalhar conceitos e técnicas diretamente em linguagem R, visando embasamento em estatística, fundamental aspecto para Ciência de Dados, mas já em uma ferramenta prática. As estruturas de dados também terão importante espaço em Estatística aplicada, dessa vez em Python e suas bibliotecas. Estudos iniciais sobre correlações e outros aspectos estatísticos serão contemplados nessa disciplina.
Tecnologias: R e Python com PANDAS
Princípios de Data Science
Cada vez mais as pessoas usam tecnologias para economizar tempo, dinheiro e esforços e obter melhores resultados e de uma forma mais rápida e eficiente. Isso gera dados e mais dados, que depois de capturados e convenientemente armazenados, vão possibilitar inúmeras compreensões. A extração de conhecimentos, a partir dos dados, os modelos de aprendizado de máquina e o aprendizado ativo, são alvos de Princípios de Data Science.
Tecnologias: Python com Spark, Sklearn, entre outros. Alteryx
Predição Analítica
Identificar um cluster de consumidores ou tentar prever se um cliente de determinado perfil vai adquirir um produto novo, sempre foi um problema complexo para organizações comerciais. Da mesma forma, que muitos outros relacionados a criação de modelos preditivos básicos. Em predição analítica, através da análise de dados seguindo ciclos de extração do conhecimento, será possível resolver os problemas descritos e muito mais.
Tecnologias: Python com PANDAS, Alteryx, RapidMiner.
Etapa5: Formação em Ciência de Dados - Aplicação
A mineração de dados é um processo de negócios para explorar grandes quantidades de dados com foco no reconhecimento de regras e padrões. Iniciando por buscas usando a estatística como principal instrumento essa disciplina chega aos princípios de Machine Learning, conceituando distinções, estratégias e fundamentos, sempre com conotação prático-teórica.
Quando temos os dados capturados, analisados, manipulados, explorados, torna-se essencial apresentá-los. A partir dos dados iniciais, e com o intuito de obter os primeiros insights, precisamos explorá-los. E quando temos os dados explorados e explicados, podemos inferir padrões neles existentes. Dentro desse contexto as técnicas e práticas serão exploradas em Dataviz, disciplina voltada a apresentação dos dados.
Tecnologias: Tableau e RapidMiner
Dentro de um contexto em que os dados são gerados e potencializados pelos dispositivos conectados, é preciso começar a avaliar, identificar padrões e tomar decisões que levem em consideração algoritmos preditivos. Nesse sentido a disciplina de Inteligência Artificial irá apresentar os principais conceitos de aprendizagem de máquina e todo o processo de descoberta de conhecimento a partir dos dados. Serão discutidos também os impactos no ambiente corporativo e na automação de decisões críticas, além da apresentação de casos reais de plataformas que materializam o uso de algoritmos pertinentes ao contexto de inteligência artificial.
Tecnologias: uso de plataformas e linguagens de programação
Disciplinas integradoras de Projeto
Disciplinas integradoras de Projeto I ao IV
Será desenvolvido ao longo do curso.
As aulas por web conferência serão ministradas ao vivo às terças e quintas-feiras, a partir de 29/04/2021 , das 19h30 às 21h30, e possibilitam uma interação mais eficaz e em tempo real entre os alunos e o professor. Caso não tenha disponibilidade para participar da web conferência no horário determinado, o estudante pode acessar a gravação da aula posteriormente no Ambiente Virtual de Aprendizagem (AVA). As aulas ficam disponíveis na plataforma até o encerramento do curso.