#TheDevConf 2019 | Belo Horizonte: Trilha BigData e NoSQL
Trilha BigData e NoSQL In God, we trust. All others, must bring Data: Ter a capacidade de armazenar e processar quantidades imensas de dados traz conhecimentos imensuráveis!
NoSQL e Big Data vivem um em função do outro. A ascensão contínua de novas tecnologias, incentivam o armazenamento de maiores volumes de dados. Que por sua vez, trazem novos e novos desafios.
Todo o processo de conscientização e tomada de decisão com base em dados, depende da estruturação da base: como meus dados chegam? Como são armazenados? Como catalogo e facilito a descoberta deles pelos profissionais da minha organização?
De Data Lakes a Bancos colunares. De tratamento da informação à análises de dados massivos. É o que você vai encontrar na trilha Big Data & NoSQL!
Joice Ferreira Rodrigues Souza
10:10 às 11:00 Streaming de dados com Kinesis e MSK (Kafka)
Um comparativo entre essas duas ferramentas que permitem trabalhar um grande volume de dados que são produzidos continuamente, e como isso nos ajudou na Hotmart.
Buscas poderosas em BILHÕES de documentos? Seu sistema pode prover isso de forma escalável e resiliente com o Elasticsearch
Matheus de Faria Moraes
Atualmente o Elasticsearch é a principal engine de buscas do mercado. Com ele, o GitHub, por exemplo, fornece poderosas buscas em 8 milhões de repositórios e 2 bilhões de documentos. Além de performáticas buscas textuais e complexas, o Elasticsearch também provê escalabilidade horizontal, resiliência e alta disponibilidade. Na palestra serão abordados todos esses conceitos, as melhores práticas e algumas demonstrações.
11:10 às 12:00 Dataflow poliglota com Apache Nifi
Vamos conversar um pouco sobre o Apache NiFi, componente do novo Cloudera Dataflow. Ele tem uma incrível capacidade de integrar diversas fontes e destino de dados. Seja um banco relacional, um NoSQL, um HDFS, Azure BlobStore, AWS S3, um Kafka, um CSV ou um WebService: o NiFi possui centenas opções.
Como garantimos qualidade de dados de Tracking na OLX sem perder agilidade
Maria Beatriz Ribeiro Vaz / Tiago Montalvão
Dados de Tracking descrevem o comportamento dos usuários nas diferentes plataformas. Na OLX, esses dados são a base dos mais importantes KPIs da cia e por isso garantir a qualidade dos mesmos é fundamental. Vamos abordar como garantimos a qualidade de mais de 1M de eventos por minuto, sem perder a agilidade e autonomia que os squads possuem de rastrear seus próprios eventos de maneira independente
12:10 às 13:00 De SQL em produção para um data-lake 90.8% serverless em menos de 1 ano
Jones Madruga / Alexsandro Santos
Uma demonstração de como o Stoodi, uma startup de cursos online, saiu de SQLs nos bancos de produção rodados pelo CTO para um Data Lake 100% automatizado e 90.8% serverless na AWS em menos de um ano. Reduzindo custos, aumentando a segurança e governança dos dados com o uso de um stack simples: S3, Step Functions, Segment, AWS Glue, Redshift e Metabase.
Hortonworks HDP - Como começar com o pé direito
Você já provavelmente já ouviu falar de Big Data. Você já deve ter conversado sobre Big Data. Você já deve ter visto centenas de soluções para Big Data. Você já deve ter visto dezenas de fornecedores de soluções para Big Data. mas você já instalou um cluster de Big Data no seu ambiente? E que tal colocar ele no ambiente de produção? Quer começar sem problemas com licença e começar sem ter problemas no seu ambiente? Essa palestra é para você.
15:10 às 16:00 Big Data na Nuvem com o Azure Databricks
Azure Databricks é uma plataforma analítica baseada no Apache Spark otimizada para a plataforma de nuvem da Microsoft. Venha conhecer nessa palestra como configurar (um clique) e usar nos cenários mais comuns (engenharia de dados, streaming, machine learning).
Do bit ao EBITDA, a jornada da engenharia de dados até o impacto no business
Matheus Espanhol / Marcel Souza
A estratégia de dados vem revolucionando empresas ao longo dos últimos anos e passou de "diferencial competitivo" à "necessidade" com o surgimento de tecnologias que dão vida a grandes volumes de dados anteriormente ignorados. Nessa palestra iremos compartilhar as lições aprendidas na implantação de novas tecnologias e mudanças culturais lideradas por times de dados e business analytics dentro da Wavy. Abordaremos as principais características de tecnologias como PostgreSQL, Elasticsearch, Kafka, Bigquery, Dremio, PowerBI e Google Data Studio para enfrentar desafios de escalabilidade, disponibilidade, consistência, democratização de dados e análise de indicadores de negócio.
16:40 às 17:30 DataOps: Estendendo as práticas de DevOps para BigData
Elasticsearch: O poder das buscas full-text
Cada milissegundo faz diferença ao realizarmos as mais variadas consultas, principalmente quando falamos de busca full-text, e é nessa etapa que o Elasticsearch com seu alto desempenho e velocidade de resposta se destaca. O palestra apresenta, além de muitos conceitos, seu uso na prática de Elasticsearch para o uso com qualquer tecnologia.
17:40 às 18:30 Criando um pipeline de dados usando Spark no Google Cloud Plataform
Um pipeline de dados é um canal para o transporte e processamento de um fluxo de dados. O pipeline pode conter vários blocos de processamento e cada um desses tem o nome de estágio. Cada estágio executa uma tarefa simples e passa o seu resultado ao próximo estágio e a combinação dessas diversas pequenas tarefas permite a construção de transformações complexas em grandes volumes de dados. Nesta apresentação iremos mostrar como criar um pipeline de dados usando Spark e como submetê-lo para execução na nuvem do google.
Starburst Presto on Azure - Querying for Big Data Environments
Engenheiros de Dados, Administradores de Bancos de Dados, Analistas de Dados, Desenvolvedores e Arquitetos de plataformas de alto-desempenho, Analistas DevOps e SRE e entusiastas da área de Dados e Infraestrutura.
Jones Madruga
Maria Beatriz Ribeiro Vaz
Tiago Montalvão
Joice Souza é Analista de Sistemas por formação com pós em Gestão de TI. Atualmente dedica seus estudos ao universo de BIG Data e tecnologias para Data Science. Apaixonada por dados, já atuou como Administrador de Banco de Dados e Analista de Sistemas. É sócia na Otus7, uma empresa de consultoria em Administração de Banco de Dados e Business Intelligence. Trabalha também em uma empresa tradicinal em MG como Analista de Sistemas ERP. Participa da comunidade PASS SQL BH e foi uma das organizadoras do SQL Saturday 715.
Allan Sene é Engenheiro de Dados Líder na Data Sprints, especializado em Estruturação de Data Lakes e Sistemas Distribuídos em Tempo-Real. Tem mais de 10 anos de experiência em software e dados. Atuou como Líder Técnico em projetos de Engenharia de Dados em organizações como UFMG, Cemig, MaxMilhas, Unimed e Vale. Além disso, é co-fundador do Data Hackers, maior comunidade brasileira de profissionais e entusiastas de Data Science, Big Data e Analytics.
Alexsandro Francisco é um estudante de Ciência da Computação - UFABC, Pythonista, Entusiasta de dados e I.A. e programador de robôs. Já teve experiência com Ciência de dados, Web Scrapping e desenvolvimento de software em diversas startups, aprendendo como dados podem mudar o mundo. Atualmente trabalhando como Engenheiro de Dados no Stoodi construindo pipelines ETL para ajudar a equipe a trazer a melhor educação possível para nossos estudantes através dos dados.
Trabalha na Hotmart desde 2014, onde desempenha papel de liderança técnica e arquitetura de software. Atualmente com o cargo de especialista em desenvolvimento na equipe de BI e Analytics.
Evandro Caldeira é engenheiro de computação e atualmente trabalha como cientista de dados na Avenue Code. Atualmente tem se dedicado em aprofundar seus conhecimentos em engenharia de dados.
Formado em Ciência da Computação pela UnB duas pós e um MBA no exterior. Há mais de 12 anos atuando na área de TI, de programador a CTO. Com experiência em startups, empresas de consultoria e governo, no Brasil, EUA e China. Liderando times pequenos e grandes, multidisciplinares, em projetos relacionados a dados. Sejam projetos de BI, machine learning ou na fomentação de uma cultura data-driven.
Atuo há mais de dez anos na área de dados, focado em Business Intelligence, fui Head de Dados na Playkids, a maior empresa de aplicativos infantis do Mundo. Hoje sou Head of Business Analytics na Wavy Global para América Latina e Consultor/Expert na área de Dados na Cognitivo
Engenheira de Computação formada pela PUC-Rio com Master em Big Data pela INSA-Lyon, trabalho atualmente como Product Manager na área de Big Data na OLX, com o desafio de criar produtos que processam e traduzem um volume extraordinário de dados, possibilitando a cultura data-driven na cia
Engenheiro de Software na Sensedia onde construímos soluções com microsserviços resilientes e escaláveis por meio de diversas tecnologias, tais como, Java, Kotlin, Spring Boot, Vert.x, Kubernetes e Elasticsearch.
Thiago Zavaschi (aka Zava) é mestre em computação na área de Inteligência Artificial. Formado pela PUC-PR, possui mais de 12 anos na área de tecnologia com foco em dados e diversas certificações de mercado. Thiago trabalha na Microsoft há mais de 8 anos, atuando como engenheiro de suporte sênior para as áreas de dados e inteligência artificial.
Formando em Ciência da Computação na UFRJ, participou da Maratona de Programação 5 vezes, chegando 4 vezes à final brasileira, conquistando 2 medalhas de bronze e chegando 1 vez à fase mundial da competição em 2018, que ocorreu em Pequim, na China. Estagiou por 1 ano na Microsoft Brasil, trabalhando no Bing na área de pesquisa e desenvolvimento. Atualmente é desenvolvedor de Big Data no time de Tracking da OLX Brasil, responsável pela coleta e processamento dos dados de comportamento dos usuários da plataforma.