agosto 9, 2016 Analytics Python
Parece que o mundo se move cada vez mais rápido a cada dia. Pessoas e lugares se tornam mais conectados e as empresas tentam reagir a esta evolução que ocorre em passos acelerados. Se já não alcançamos, estamos muito próximos de alcançar o limite em que as pessoas são capazes de responder a esta velocidade na geração de dados e conteúdo. E ferramentas vão sendo criadas com o objetivo de processar esta vasta quantidade de dados disponíveis para apoiar a tomada de decisões. O desafio é coletar, analisar e apresentar esta imensidão de dados gerados, na mesma velocidade em que são gerados ou existe o risco de analisar dados já obsoletos, ainda que os dados tenham sido gerados alguns minutos antes da análise. Estes dados gerados em tempo real e com fluxo contínuo é o que chamamos de Streaming de Dados.
Quando projetos de análise de dados em tempo real atingem determinado estágio, eles devem ser ágeis o suficiente para se adaptarem rapidamente as mudanças na geração do Streaming. Um sistema de análise de dados em tempo real a partir de redes sociais por exemplo, deve estar preparado para uma alta geração de dados, com base em um evento que rapidamente se espalhe pela rede (como compartilhamentos sobre uma catástrofe ambiental ou um evento inesperado). Projetos de sistemas de análise de dados em tempo real falham por uma simples razão: sistema desta natureza não podem ser tratados da mesma forma como se implementa um sistema em batch. O mundo está em plena transformação. Sistemas que são atualizados a cada 3 dias podem significar a falência de uma empresa, quando se considera que milhões de dados são gerados por minuto e que devem ser analisados em tempo real. Este será o novo padrão. Ou as empresas se preparam para isso, ou assistirão a sua participação no mercado ser reduzida.
O comércio eletrônico e as campanhas de marketing digital, foram responsáveis por um fenômeno deste novo mundo em que vivemos. Temos agora a necessidade de monitorar em tempo real os cliques que um usuário efetua em um site ou em um banner de propaganda. De acordo com o volume de cliques, podemos direcionar nossas campanhas e ofertar produtos ou serviços de forma personalizada. Isso sem falar em outras métricas, como o volume de usuários únicos que acessam um website por dia, a correlação entre os cliques de um usuário, a reação dos usuários a campanhas em tempo real e muito mais. Esse grande volume de dados, que caracteriza o Big Data, gerado em tempo real, levou a criação de novos tipos de sistemas, como sistemas de recomendação, além da possibilidade de realizar experimentos, como testes A/B e outras técnicas analíticas que podem ser processadas em tempo real. Faz algum sentido, os dados gerados a partir da interação de usuários com websites, não serem analisados em tempo real? Faz algum sentido levar 3 dias para analisar estes dados? Em 3 dias o usuário já pode ter decidido efetuar a compra em outro website. Na verdade, 3 dias é uma eternidade quando falamos de Streaming de Dados.
Tiago Pereira(@dsadm1n)
Realmente, nos tempos atuais a construção de um banco de dados que você possa transmitir informações qualificadas se constitui rapidamente.