Objetivo: Curso destinado a profissionais que desejam ingressar na área de Big Data para ingestão de Dados Estruturados. Serão abordados temas básicos como conhecimento do ecossistema, funcionamento do cluster e métodos de ingestão de Dados. Focado em Engenharia de Dados.
Público-Alvo: Iniciantes na área de Big Data com conhecimento básico em SQL e Banco de Dados.
- 4 Vs do Big Data
- BI x Big Data - Qual o futuro?
- Data Engineer x Data Scientist
- Ecossistema e Arquitetura Hadoop
- Arquitetura e Distribuições
- Arquitetura HDFS
- Arquitetura MapReduce
- Infraestrutura e Componentes
- Apresentação do Flume
- Apresentação do Sqoop
- Apresentação do Zookeeper
- Apresentação do Oozie
- Apresentação do Pig
- Apresentação do Hbase
- VM Cloudera
Exercício 1 - Conhecendo o HDFS
- Detalhamento da Sintaxe HQL
- Tabelas Externas
- Tabelas Gerenciadas
Exercício 2 - Ingestão de Dados com Sqoop
Exercício 3 - Ingestão de Dados Simpsons com Beeline
Exercício 4 - Ingestão de Dados com o HUE
- Conceito MPP
- Impala x Hive
Exercício 5 - Ingestão de Dados via Shell Impala
Exercício 6 - Leitura de Dados com Impala Web
Analise de Dados X Carga de Dados
- Data Engineer – Responsabilidades
- Data Scientist - Responsabilidades
- O que é RDD
- Dataframe e DataSource
- Loop e Condicional
- Parametrização de Arrays
Exercicio 1 - Explorando o Hive com Scala
Exercicio 2 - Data Source com Scala
Exercicio 3 - Data Frame com Scala
- Funções Lambdas
Exercicio 4 - Ingestão de Arquivo CSV com Python
Exercicio 5 - Ingestão de Arquivo JSON com Python
- O que é a distribuição Anaconda
- Quem utiliza
Exercicio 6 - Instalando o Anaconda
Exercicio 7 - Conhecendo o Jupyter Notebook
Exercicio 8 - Uber - Data Scientist
Exercicio 9 - Conhecendo o R
Exercicio 10 - Gráficos e Analise em R
Instrutora: Juliana Maria Lopes
- Big Data - Senior Data Engineer / Business Intelligence
- Conhecimentos em Big Data: Análise de Dados – Python; HDFS; Apache Hadoop; Apache Spark; Hive / Banco de Dados NoSql – MongoDB; Hbase; Cassandra; Amazon DynamoDB / Ecossistemas FastData – Microsoft Azure; AWS; Google Cloud; Cloudera.
- Atualmente compõe o time de gestão de dados no ambiente Big Data da Telefônica Brasil
- 10 anos de experiência em diversas plataformas de Business Intelligence.
- Formação em MBA em Gestão de TI pela FIAP
- Graduação em Desenvolvimento de Software pela FIAP e Ciência da Computação pela Universidade Anhembi Morumbi
Treinamento Formação do Analista de BI (Power BI)
Objetivo: Capacitar os alunos para entender todo o ciclo de vida de sistemas de apoio a tomada de decisão, desde a escolha da arquitetura adequada para cada ambiente, passando pela implementação dos bancos de dados, rotinas de ETL e finalizando com a entrega e manutenção do ambiente de Data Warehouse e BI. O conteúdo deste curso foi desenvolvido com base na experiência prática de projetos reais e na literatura de Ralph Kimball. Durante o treinamento desenvolveremos modelos Dimensionais aplicando técnicas básicas e avançadas. Através de dinâmicas de grupo totalmente práticas simulamos situações reais do desenvolvimento de bancos de dados para Data Warehouse e Business Intelligence. Para isso usaremos o MS Power BI que oferece um ambiente completo para criar e compartilhar relatórios e painéis de BI, com baixo custo, alta qualidade, compartilhamento na nuvem e visualização em dispositivos móveis.
Público-Alvo: Iniciantes na área de BI e DW com conhecimento básico em desenvolvimento de sistemas e banco de dados.
Dado, Informação e Inteligência do Negócio
Conceitos de qualidade de dados e informação
Modelos de Dados Relacional e Dimensional
Contexto do Business Intelligence e Data Warehouse
Conceitos BI, DW, Data Mart, ODS, ETL
Projetos de Data Warehouse
- Alinhamento dos conceitos Modelo Entidade Relacionamento (MER) e Normalizaçã
Dinâmica de grupo: Modelagem Tradicional MER
- Teoria e prática da Modelagem Multidimensional
Definição e histórico da Modelagem Multidimensional
Fatos, métricas e dimensões
Métricas Aditivas, Semi-aditivas e Não-aditivas, Atributos e Hierarquias
Processo de modelagem dimensional
Dinâmica de grupo - Modelagem Multidimensional básica
Dinâmica de grupo - Modelagem Multidimensional intermediária
Análise de Requisitos para sistemas de BI
Tipos de Tabelas Fato, Transaction, Snapshot, Accumulating e Fato sem Fato
Tipos de Dimensões, Slowly Changing, Rapdly Changing, Degenerate
- Arquitetura e ferramentas (ETL, Banco de dados, Front-end)
Dinâmica de Grupo – Projeto completo usando SQLServer e PowerBI.
Dinâmica de grupo – Ciclo de vida Modelagem Dimensional
Recursos do Power BI para modelagem de dados
Recursos do Power BI para importação e tratamento dos dados
Buscando e importando dados NYSE e NASDAQ
Criando o modelo de dados do mercado de ações no Power BI
Criando métricas e cálculos
Criando hierarquias nas dimensões
Criando relatórios interativos
Relatórios usando dados geográficos
Site do Power BI
Publicando do Power BI Desktop para o site Power BI
Power BI para mobile
Obs.: Para as dinâmicas deste treinamento usaremos equipamentos com ferramentas, tais como, SAP Power Designer, Microsoft SQLServer 2012 ou Oracle 11g, MS Power BI.
Objetivo: Oferecer aos profissionais uma boa introdução do uso e aplicação de métodos analíticos em problemas do mundo real e desenvolver o raciocínio dos participantes em torno do entendimento do problema de negócio e de como os dados podem ser modelados para endereçar a resolução do problema.
Público-Alvo: Indicado para os profissionais de Analytics, CRM, Gestão de dados, Banco de Dados, BI/DW, Gestão de Dados Mestres, Governança de Dados, Qualidade de Dados, Analistas de Negócios e TI.
• Conceitos básicos de importação e exportação de arquivos e saídas.
• Criação de variáveis, filtragem de dados, amostragem de dados, agrupamento, cruzamento e empilhamento de dados. A filosofia Tidyverse.
• Análise exploratória de dados, medidas de posição e dispersão, gráficos exploratórios, análise bivariada, peso da evidência e valor da informação.
• Categorização de dados, padronização de dados, análise de correlação.
• Aprendizagem Não Supervisionada e Segmentação Estatística (K-means, Kohonen, Dendogramas, Análise RFV)
• Aprendizagem Não Supervisionada, Análise de Associação e Cestas de Mercado
• Aprendizagem Supervisionada e Métricas de Avaliação de Modelos (K-S, Gini,AUC, Matriz de Confusão, R2, Mape, Lift, Curva de Ganhos)
• Aprendizagem Supervisionada e Modelos de Regressão Linear Múltipla, Regressão Logística e Árvores de Decisão
• Aprendizagem Supervisionada e Redes Neurais Artificiais
• Aprendizagem Supervisionada, Random Forests e Support Vector Machines
• Aprendizagem Supervisionada e Introdução às Séries Temporais
• Introdução à Mistura de Modelos (Ensemble Learning)
• Introdução à Mineração de Textos e Análise de Dados Não Estruturados
• Mini-competição de Ciência de Dados (Mini Hackathon)
Utilizaremos máquinas para os alunos praticarem os exercícios.
Aplicaremos Exercícios em sala e listas para resolução em casa, inclusive com um mini hackathon no final do curso.