Nunca se armazenou tantos dados. Todos os dias são criados e instalados novos sensores como GPSs, acelerômetros, câmeras e medidores de velocidade, temperatura, humidade, vazão e energia. Todos os sites que navegamos, todas as interações com o navegador, todas as informações que consumimos são armazenadas digitalmente com intuito de tornar mais eficiente a publicidade que é oferecida. Cientistas mapearam o genoma humano, o Google mapeou as informações da Internet, o Facebok mapeou os nossos relacionamentos. O Youtube recebe mais de 300 horas de vídeos a cada minuto que serão consumidos por mais de 1 bilhão de usuários em todo o planeta.
Essa tendência não poderia ser diferente para as empresas. Desde os anos 90, empresas de todos os setores e tamanhos têm investido em tecnologias de suporte à tomada de decisões. Essas tecnologias tornaram-se conhecidas por gerentes e diretores por facilitar a visualização de dados através de gráficos e painéis (ou dashboards) que podem ser alterados de maneira dinâmica. Até hoje muitas dessas aplicações analíticas, que são conhecidas como BI (abreviação do inglês, Business Intelligence), acessam Datawarehouses, que são bancos de dados especializados em armazenar grandes quantidades de dados de maneira agregada.
Mas o que tem a ver Big Data com isso? Big Data não é nada mais do que uma evolução desses conceitos de BI e Datawarehouse. Novas tecnologias de processamento de dados distribuídos trouxeram a possibilidade de se fazer análises com uma quantidade de dados que está em outra ordem de magnitude. Porém, os objetivos continuam os mesmos: fornecer informação para tomada de decisões.
Essas novas tecnologias de Big Data também viabilizaram a utilização de técnicas de Aprendizado de Máquina (no inglês, Machine Learning) que ajudam a predizer tendências para qualquer tipo de problema, desde aumento de custos e receitas em uma empresa até o tempo estimado para a passagem de um ônibus no ponto.
Um bom exemplo é o do Netflix, que utiliza algorítmos de clusterização para agrupar preferências de usuários por determinados gêneros de filmes. Depois, o sistema identifica usuários com gostos similares e recomenda filmes que estão alinhados ao seu perfil.