BIG DATA e o DATA LAKE
dez 12, 2014 Ξ 1 comentário
Uma provável alternativa para este desafio é a criação de Data Lakes. Data Lake é um repositório que armazena um grande e variado volume de dados, estruturados e não estruturados. Uma definição simples pode ser encontrada em: A massive, easily accessible data repository built on (relatively) inexpensive computer hardware for storing "big data". Unlike data marts, which are optimized for data analysis by storing only some attributes and dropping data below the level aggregation, a data lake is designed to retain all attributes, especially so when you do not yet know what the scope of data or its use will be".
O conceito de Data Lake é um novo mindset, não apenas a tecnologia de um grande repositório. É um modelo que propõe um novo ecossistema de dados. Podemos pensar não mais em restritos Data Warehouses e Data Minings onde os modelos de dados já estão previamente definidos e portanto nos limitam no escopo das perguntas possíveis. Como no Data Lake todos os dados estão disponíveis podemos fazer cruzamentos inovadores entre dados que eventualmente, à primeira vista, nem fariam sentido. Mas um insight leva a uma nova pergunta, que nos leva a outro insight e assim construímos novos conhecimentos e geramos valor.
Outra vantagem em relação aos tradicionais Data Warehouses é a possibilidade de trabalhar de forma muito mais simplificada com dados não estruturados.
Um resultante do Data Lake é que possibilita aos usuários fazerem suas buscas diretamente, sem necessidade de intervenções do setor de TI. Este continua responsável pela segurança dos dados armazenados, mas pode deixar aos usuários de negócio, que entendem do próprio negócio, a tarefa de gerar insights e pensar novas perguntas. Novamente, uma analogia com o Google. Você faz as próprias buscas, não precisa pedir suporte à ninguém do Google para escrevê-las para você. Um artigo interessante sobre Data Lakes pode ser lido aqui. Um outro artigo, de um caso real, da GE Aviation pode ser visto aqui.
Mas alguns cuidados. À primeira vista Data Lake parece um amontoado de dados sem controle. Não é verdade. É necessário um processo eficaz de governança, que envolva segurança, controle de acesso e aderência a normas de compliance. Também, por ser ainda um conceito novo (embora tags e Hadoop não sejam tão novidade assim), está cercado de hypes, discursos ufanistas de fornecedores que o mostram como a solução de todos os problemas de integração de dados. Realmente o apelo é forte, colocar todos os dados em um lugar, e deixar que os usuários, por sua conta, façam suas buscas e correlações, gerando eles mesmos os insights. Mas, todos nós sabemos que entre o discurso e a prática existe um imenso gap. Portanto, antes de mergulhar no lago, estude mais o assunto e defina claramente sua estratégia para Data Lake e se faz sentido para sua empresa. Afinal, pato novo não mergulha em lago fundo…
BIG DATA e o DATA LAKE was last modified: dezembro 12th, 2014 by Cezar Taurion
big data data lake grande volume de dados
Como o "novo normal" irá contribuir para a indústria 4.0 com resultados eficientes para os stakeholders. – Academia Financeira
[…] a correlação dos dados vitais e transacionais estruturados e organizados em uma camada única (data-lake), sobre a qual os algoritmos de inteligência artificial, deep learning, machine learning e […]