Big Data é um termo que se refere a soluções destinadas a armazenar e processar grandes conjuntos de dados. Desenvolvido inicialmente pelo Google, essas soluções Big Data evoluíram e inspiraram outros projetos similares, muitos dos quais estão disponíveis como opensource. Alguns exemplos incluem Apache Hadoop, Cassandra e Cloudera Impala. De acordo com os relatórios da Gartner, BigData é o próximo grande passo no TI logo após a Cloud Computing e será uma tendência líder nos próximos anos. Nossos curso de BigData começam com uma introdução aos conceitos elementares de Big Data, em seguida, progridem nas linguagens de programação e metodologias utilizadas para realizar análise de dados. As ferramentas e a infra-estrutura para permitir armazenamento de grandes dimensões, processamento distribuído e escalabilidade são discutidas, comparadas e implementadas em sessões de demonstração. O treinamento BigData está disponível em vários formatos, incluindo treinamento ao vivo no local e treinamento online ao vivo e interativo. O treinamento local BigData pode ser realizado nas instalações do cliente no Portugal ou nos centros de treinamento locais NobleProg no Portugal. O treinamento ao vivo remoto é realizado por meio de uma área de trabalho remota e interativa.
O Apache Drill é um mecanismo de consulta SQL colunar, distribuído e sem esquema, para Hadoop, NoSQL e outros sistemas de armazenamento em nuvem e de arquivos O poder do Apache Drill reside na sua capacidade de juntar dados de vários armazenamentos de dados usando uma única consulta O Apache Drill suporta vários bancos de dados NoSQL e sistemas de arquivos, incluindo HBase, MongoDB, MapRDB, HDFS, MapRFS, Amazon S3, Armazenamento de Blobs do Azure, Google Cloud Storage, Swift, NAS e arquivos locais O Apache Drill é a versão de código aberto do sistema Dremel do Google, que está disponível como um serviço de infraestrutura chamado Google BigQuery Neste treinamento presencial instruído, os participantes aprenderão os fundamentos do Apache Drill, depois aproveitarão o poder e a conveniência do SQL para consultar de forma interativa os grandes dados em várias fontes de dados, sem escrever código Os participantes também aprenderão como otimizar suas consultas Drill para execução SQL distribuída No final deste treinamento, os participantes serão capazes de: Realize a exploração de "self-service" em dados estruturados e semi-estruturados no Hadoop Consulta conhecida assim como dados desconhecidos usando consultas SQL Entenda como o Apache Drills recebe e executa consultas Escrever consultas SQL para analisar diferentes tipos de dados, incluindo dados estruturados no Hive, dados semi-estruturados em tabelas HBase ou MapRDB e dados salvos em arquivos como Parquet e JSON Use o Apache Drill para executar a descoberta do esquema flyfly, ignorando a necessidade de operações complexas de ETL e esquema Integre o Apache Drill com ferramentas de BI (Business Intelligence), como Tableau, Qlikview, MicroStrategy e Excel Público Analistas de dados Cientistas de dados Programadores SQL Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .
Apache Arrow é uma estrutura de processamento de dados em memória de código aberto. É frequentemente usado em conjunto com outras ferramentas de ciência de dados para acessar diferentes armazenamentos de dados para análise. Ele se integra bem a outras tecnologias, como bancos de dados GPU , bibliotecas e ferramentas de aprendizado de máquina, mecanismos de execução e estruturas de visualização de dados.
Neste treinamento ao vivo, ministrado por instrutor, os participantes aprenderão como integrar o Apache Arrow com várias estruturas de Data Science para acessar dados de fontes de dados diferentes.
- Instale e configure o Apache Arrow em um ambiente em cluster distribuído
- Use o Apache Arrow para acessar dados de fontes de dados diferentes
- Use o Apache Arrow para ignorar a necessidade de construir e manter pipelines ETL complexos
- Analise dados em diferentes fontes de dados sem precisar consolidá-los em um repositório centralizado
Dia 1 - fornece uma visão geral de alto nível das principais áreas de tópicos do Big Data . O módulo é dividido em uma série de seções, cada uma das quais é acompanhada por um exercício prático.
Dia 2 - explora uma variedade de tópicos que relacionam práticas de análise e ferramentas para ambientes de Big Data . Ele não entra em detalhes de implementação ou programação, mas mantém a cobertura em um nível conceitual, concentrando-se em tópicos que permitem aos participantes desenvolver uma compreensão abrangente das funções e recursos de análise comuns oferecidos pelas soluções de Big Data .
Dia 3 - fornece uma visão geral das áreas de tópicos fundamentais e essenciais relacionadas à arquitetura da plataforma de solução Big Data . Ele abrange os mecanismos de Big Data necessários para o desenvolvimento de uma plataforma de solução Big Data e opções de arquitetura para a montagem de uma plataforma de processamento de dados. Cenários comuns também são apresentados para fornecer uma compreensão básica de como uma plataforma de solução Big Data é geralmente usada.
Dia 4 - baseia-se no Dia 3, explorando tópicos avançados relacionados à arquitetura da plataforma de solução Big Data . Em particular, diferentes camadas de arquitetura que compõem a plataforma de solução Big Data são introduzidas e discutidas, incluindo fontes de dados, entrada de dados, armazenamento de dados, processamento de dados e segurança.
Dia 5 - abrange uma série de exercícios e problemas projetados para testar a capacidade dos delegados de aplicar o conhecimento dos tópicos abordados nos dias 3 e 4.
Para atender a conformidade dos reguladores, os CSPs (provedores de serviços de Communication ) podem acessar o Big Data Analytics, que não apenas os ajuda a atender a conformidade, mas dentro do escopo do mesmo projeto podem aumentar a satisfação do cliente e reduzir a rotatividade. De facto, uma vez que a conformidade está relacionada com a Qualidade de serviço ligada a um contrato, qualquer iniciativa para cumprir a conformidade melhorará a "vantagem competitiva" dos CSPs. Portanto, é importante que os Reguladores possam aconselhar / orientar um conjunto de práticas analíticas de Big Data para os CSPs que serão de benefício mútuo entre os reguladores e os CSPs.
O curso consiste em 8 módulos (4 no dia 1 e 4 no dia 2)
Esta sessão de treinamento em sala de aula explorará o Big Data . Os delegados terão exemplos baseados em computador e exercícios de estudo de caso para realizar com ferramentas de big data relevantes
Objetivo : Este curso de treinamento visa ajudar os participantes a entender por que o Big Data está mudando nossas vidas e como isso está alterando a forma como as empresas nos veem como consumidores. De fato, os usuários de big data nas empresas descobrem que o big data libera uma riqueza de informações e insights que se traduzem em lucros maiores, custos reduzidos e menos riscos. No entanto, a desvantagem foi a frustração, por vezes, ao enfatizar demais as tecnologias individuais e não se concentrar o suficiente nos pilares do gerenciamento de big data.
Os participantes aprenderão durante este curso como gerenciar o big data usando seus três pilares de integração de dados, governança de dados e segurança de dados para transformar grandes volumes de dados em valor comercial real. Diferentes exercícios conduzidos em um estudo de caso de gerenciamento de clientes ajudarão os participantes a entender melhor os processos subjacentes.
This instructor-led, live training in Portugal (online or onsite) is aimed at technical persons who wish to learn how to implement a machine learning strategy while maximizing the use of big data.
Apache Sqoop é uma interface de linha de comando para mover dados de bancos de dados relacionais e Hadoop. Apache Flume é um software distribuído para gerenciar big data. Usando Sqoop e Flume, os usuários podem transferir dados entre sistemas e importar big data para arquiteturas de armazenamento, como Hadoop.
Este treinamento ao vivo (no local ou remoto) liderado por instrutores é voltado para engenheiros de software que desejam usar sqoop e Flume para transferir dados entre sistemas.