PTV Tecnologia da Informação - Estamos definitivamente entrando na era do Big Data
Recentemente li dois papers que me chamaram atenção para a crescente importância do fenômeno Big Data. O primeiro é "Big Data, Big Impact: New Possibilities for International Development", publicado pelo World Economic Forum. O documento mostra como analisando padrões em imensos volumes de dados pode-se prever desde a magnitude de uma epidemia a sinais de uma provável ocorrência de uma seca severa em uma região do planeta. O documento mostra alguns casos muito interessantes, inclusive o projeto da ONU, chamado Global Pulse, que se propõe a utilizar as tecnologias e conceitos de Big Data para ajudar a melhorar as condições de vida das populações do planeta.
Outro documento é "Obama administration unveils Big Data Initiative: announces US$ 200 million in new R&D investments". O governo americano, ciente da importância do Big Data anuncia investimentos em pelo menos seis agências como National Science Foundation, National Institutes of Health e outras, para investimentos em pesquisas na área de Big Data. Um dos projetos é o "1000 Genomes" que disponibiliza 200 terabytes de dados para pesquisadores, armazenados em uma nuvem pública, neste caso da Amazon. O pesquisador paga apenas pelos serviços computacionais da nuvem e não pelo direito de acesso aos dados sobre genética humana.
Curiosamente quando abordamos o tema, surgem comentários do tipo "mas Big Data não é apenas um grande data warehouse?" ou "Big Data não é apenas um BI em cima de um data set de terabytes de dados?". Sim, ambas são corretas, mas Big Data é muito mais que isso.
Depois desta integração, temos então a fase mais visível que é a analítica, com a análise e interpretação dos resultados. É um desafio e tanto, pois terabytes de dados já existem e estão armazenados. A questão é "que perguntas fazer" para chegarmos à identificação de padrões e correlações que podem gerar valor para o negócio? Queries em cima de um Data Warehouse gerado por transações obtidas pelo ERP são relativamente bem estruturadas e dentro de um domínio de conhecimento bem restrito. Mas, quando se coleta dados de diversas fontes, criar estas queries requer muito mais conhecimento e elaboração por parte dos usuários. É aí que entra o Data Scientist, um profissional multidisciplinar, com skills em ciência da computação, matemática, estatística e, claro, conhecimentos do negócio onde está inserido. Esta fase também demanda investimentos em pesquisas de novas formas de visualização, que ajudem a melhor interpretar os dados. Gráficos e planilhas tradicionais não são mais suficientes.
Autor: Cezar Taurion - TI Especialistas
Fonte: http://www.tiespecialistas.com.br/2012/07/estamos-definitivamente-entrando-na-era-do-big-data