UNIVERSIDADE DE ÉVORA ESCOLA DE CIÊNCIA TECNOLOGIA DEPARTAMENTO DE INFORMATICA - PDF
Download "UNIVERSIDADE DE ÉVORA ESCOLA DE CIÊNCIA TECNOLOGIA DEPARTAMENTO DE INFORMATICA"
Airton de Sintra de Abreu
1 UNIVERSIDADE DE ÉVORA ESCOLA DE CIÊNCIA TECNOLOGIA DEPARTAMENTO DE INFORMATICA Das Bases de Dados aos Sistemas de Apoio à Decisão: Ensaios de Aplicação a uma Instituição do Ensino Superior Aristidis de Jesus Ornai Orientação: Professora Doutora Irene Pimenta Rodrigues Professora Doutora Lígia Maria Rodrigues da Silva Ferreira Mestrado em Engenharia Informática Dissertação Évora, 2014
2 UNIVERSIDADE DE ÉVORA ESCOLA DE CIÊNCIA TECNOLOGIA DEPARTAMENTO DE INFORMATICA UNIVERSIDADE DE EVORA FACULDADE/ESCOLA DE CIÊNCIA TECNOLOGIA Das Bases de Dados aos Sistemas de à Decisão: Ensaios de Aplicação a uma Instituição do Ensino Superior Apoio Aristidis de Jesus Ornai Orientação: Professora Doutora Irene Pimenta Rodrigues Professora Doutora Lígia Maria Rodrigues da Silva Ferreira Mestrado em Engenharia Informática Dissertação Évora, 2014
3 Para vencer nós temos que lutar, e essa luta muitas vezes significa dispor de certa forma com os nossos estudos, para enriqueçer aquilo em que acreditamos. O nosso ponto de vista, a nossa confiança e a nossa personalidade acima de tudo. E se nós não lutamos para valer, acabamos por perder o nosso próprio rumo. No entanto, para conseguirmos manter essa linha de conduta, temos que lutar muito»aristidis Jesus«A morte do homem começa no instante em que ele desiste de aprender»albino Texeira«
4 Agradecimentos Gostaria de agradecer a todos aqueles que me apoiaram e contribuíram de forma direta e indireta para a conclusão deste Mestrado, e em particular: A Deus por me apoiar nos momentos difíceis, dar-me força interior para superar as dificuldades, mostrar o caminho em tempos de incerteza e encontrar-me em todas as minhas necessidades. À Professora Doutora Irene Rodrigues e Professora Doutora Lígia Ferreira pelas orientações, acompanhamento, incentivo e permanente disponibilidade demonstrada durante este projecto até a conclusão. Ao responsável da Universidade Nacional Timor Lorosae (UNTL), Professor Doutor Aurélio Guterres e toda a sua estrutura deram me esta grande oportunidade e todos as suportes necessários até ao fim do curso. Ao decano da Faculdade de Engenharia Ciências e Tecnologia da UNTL, Professor Gabriel de Sá e toda a sua estrutura assim como os chefes de cada Departamento que me autorizou a licença de recolher os dados da Faculdade. Ao responsável da Fundação das Universidades Portuguesas (FUP) Doutora Mónica Pimentel, pela sua grande responsabilidade e coragem que me deu durante a minha estadia em Portugal. À minha família, e em particular aos meus pais, pelo permanente estímulo e natural apoio demonstrado ao longo da realização desta dissertação e trabalhos relacionados. Aos meus amigos que me ajudaram, apoiaram e incentivaram tornando mais fácil a conclusão do ano curricular. Aos meus companheiros estudantes Timorenses, à Associação dos Estudantes Timorenses em Évora (ASET-Évora) e todos os outros que de forma directa e indirecta contribuíram durante minha estadia em Évora. i
5 RESUMO Actualmente no mundo das Tecnologias da Informação tem-se vindo a ganhar mais conhecimento da Tecnologia de Data Warehouse (DW) e cada vez mais aprofundadamente do que era nas gerações passadas. DW é um sistema de coleção de uma variedade de dados necessários, seja na forma de dados históricos ao longo de cinco anos ou seja, dados actuais. DW é geralmente apoiado por um modelo conceptual de dados chamado modelo multidimensional que pode ser usado para exibir dados de diferentes dimensões de análise e relatórios. Os dados são uma mais valia importante nas organizações e instituições em que são usados para fazer a tomada de decisão. O processo da recolha de dados pode ser realizado em vários lugares, por exemplo, bases de dados, aplicações e tecnologia de DW. O sistema de DW foi desenvolvido através da plataforma de Business Intelligence (BI) da Microsoft. Aplicando as tecnologias de modelação multidimensional é possível, quando após a selecção, preparação e limpeza dos dados extraidos dos sistemas transaccionais da UNTL. Portanto os dados são carregados para DW e procederam às respectivas análises através de tecnologias Online Analytical Processing (OLAP). Este estudo tem como objetivo sensibilizar no interesse e vantagem do sistema da construção, implementação, gestão para actividades académicas que podem ser usados para apoiar a tomada de decisão a nível universitário. Nesta dissertação, proposto o padrão de desenvolvimento baseada ao estudo de caso na UNTL. A arquitetura que propoe vai ajudar a desenvolver o sistema de tomada de decisões de qualquer instituição académica. Palavra-chave: Base de Dados, ETL, Sistemas de Apoio à Decisão, Sistemas de Data Warehouse e Business Intelligence. ii
6 From Databases to Decision Support Systems: An Application to the University of Timor Leste ABSTRACT Current scenario of Information Technology in the world has steadily gaining more knowledge of Data Warehouse (DW) Technology day by day. DW is usually supported by a conceptual data model called multidimensional model that can be used to display data from different dimensions of analysis and reporting. DW is a system of collection of a variety of data required, whether in the form of historical data over 5 years or current data. The data are an important input in organizations and institutions that are used to make the decision. The process of data collection can be accomplished in several places, for example, databases, applications, and DW technology. A system of DW was developed by the Business Intelligence (BI) platform of Microsoft. Implementing technologies of multidimensional modeling is possible after the selection, preparation and cleaning of extracted data from transactional systems UNTL only. Therefore, data is loaded to DW and carried out their analysis technologies through Online Analytical Processing (OLAP). This thesis aims to raise awareness, interest and advantage of building system along with its implementation and management in academic activities that can be helpful in decision making at the university level. In this thesis, proposed framework is developed on the basis of case study of University of East Timor. The proposed architecture will be help to develop the decision making system of any academic institution. Keywords: Database, ETL, Decision Support Systems, Data Warehouse Systems and Business Intelligence. iii
7 Índice Agradecimentos... i RESUMO... ii ABSTRACT... iii LISTA DE FIGURAS... vi LISTA DE TABELAS... vii LISTA DE ACRÓNIMOS E ABREVIATURAS... viii Capítulo 1 Introdução e Objetivos Introdução e Motivação Objetivos do Trabalho Metodologia Organização do Documento... 4 Capítulo 1 Introdução e Relevância do Tema... 4 Capítulo 2 Fundamentos Teóricos... 4 Capítulo 3 Ferramentas Utilizadas Para O Caso Prático... 5 Capítulo 4 Estudo de Caso Prático... 5 Capítulo 5 Conclusão e Trabalhos Futuros Cronograma do Trabalho... 5 Capítulo 2 Fundamentos Teóricos Conceitos Básicos... 7 Online Transactional Processing (OLTP) vs Online Analytical Processing (OLAP) As Principais Características de Uma DW Orientado por assunto Integrado Não Volátil Variáveis no tempo / histórico Tecnologia de DW Modelo de dados Tabelas de Dimensão Tabelas de Factos O Modelo Estrela (star schema) O Modelo Floco de Neve (Snow Flake) Modelo Normalizado Arquitetura de DW Sistemas Operacionais Aquisição de dados (Data acquisition) Metadados Armazenamento de dados (Data storage) iv
8 Acesso aos Dados Data Marts Business Intelligence(BI) Concepção do Data Warehouse Extração Transformação e Carregamento Extração Transformação Carregamento Capítulo 3 Ferramentas Utilizadas Para O Caso Prático Microsoft SQL Server SQL Server Analysis Services (SSAS) Microsoft Office Excel Ferramentas Front End Microsoft SQL Server Report Builder Capítulo 4 Estudo de Caso Prático Problema Base de Dados Análise do Processo de Negócio Processo de Negócio Matriz em Bus Camada de Visualização de Dados Desenvolvimento do Modelo Dimensional Análise Multidimensional e Relatórios Capítulo 5 Conclusões e Trabalhos Futuros Conclusões Bibliografia Anexos v
9 LISTA DE FIGURAS Figura 1 Plano de Trabalho... 5 Figura 2 Integração de Dados (Inmon, 2002) Figura 3 Não Volátil (Inmon, 2002) Figura 4 Variáveis no Tempo/Histórico (Inmon, 2002) Figura 5 Exemplo Modelo de Estrela (Star Schema). Fonte: Elaboração própria Figura 6 Exemplo Modelo Floco de Neve (Snow Flake). Fonte: Elaboração própria Figura 7 Arquitetura de DW. Fonte: Elaboração própria Figura 8 Extração, Transformação e Carregamento de Dados (ETC). Fonte: Elaboração própria 24 Figura 9 Dados dos Alunos de Informática em Excel Figura 10 Conversão de Dados com Linguagem SQL Figura 11 Exemplo Dados dos Alunos no SQL Server Figura 12 Diagrama de Base de Dados Relacional Figura 13 Modelo Dimensional para o Processo de Negócio Inscrição na Disciplina Figura 14 Modelo Dimensional para o Processo de Negócio Avaliação_Pauta do Aluno Figura 15 Cubo de Dados Gerado no BIDS Figura 16 Browse do Cubo de Dados para relatório Figura 17 Inscrição do Aluno na Disciplina por Ano Letivo Figura 18 Gráfico de Inscrição do Aluno na Disciplina por Ano Letivo Figura 19 Pautas de Avaliação do Aluno Figura 20 Gráfica de Avaliação do Aluno por Pauta vi
10 LISTA DE TABELAS Tabela 1. Comparação entre o sistema de OLTP e OLAP (Jiawei Han, 2001)... 9 Tabela 2 Matriz em BUS Tabela 3 Descrição de Dimensão Aluno Tabela 4 Descrição de Dimensão Curso Tabela 5 Descrição de Dimensão Disciplina Tabela 6 Descrição de Dimensão Professor Tabela 7 Descrição da Dimensão Pauta Tabela 8 Descrição da Dimensão AnoLectivo Tabela 9 Descrição da Dimensão Reingresso Tabela 10 Descrição de Facto Inscrição na Disciplina Tabela 11 Descrição de Facto Pauta vii
11 LISTA DE ACRÓNIMOS E ABREVIATURAS Ao longo deste documento utilizaram-se os seguintes acrónimos e abreviaturas: ASCII = American Standard Code for Information Interchange ASET-Évora = Associação dos Estudantes Timorenses em Évora BD = Base de Dados BI = Business Intelligence BIDS = Business Intelligence Development Studio DW = Data Warehouse DBA = Data Base Administration DMX = Data Mining Extension DTS = Data Transformation Service ETL = Extraction Transformation and Loading ETC = Extração Transformação e Carregamento FUP = Fundação das Universidades Portuguesas GB = Giga Byte H/M = Homem/Mulher MB = Mega Byte M/F = Masculino/Feminino MDX = MultiDimensional expressions OLTP = Online Transactional Processing OLAP = Online Analytical Processing ODS = Operational Data Source SQL = Structure Query Language SGBD = Sistema de Gestão de Base de Dados SGBDR = Sistema de Gestão de Base de Dados Relacional SSAS = SQL Server Analysis Services SP1 = Service Pack 1 TB = Terra Byte UNTL = Universidade Nacional Timor Lorosae XML/A = extensible Markup Language for Analysis viii
12 Capítulo 1 Introdução e Objetivos 1.1 Introdução e Motivação Actualmente no mundo das Tecnologias da Informação tem-se vindo a ganhar mais conhecimento da Tecnologia de DW e cada vez mais aprofundamente do que era nas gerações passadas. Com a evolução e a globalização tecnológica em avanço a um crescimento exponencial, a informação é cada vez mais importante para pessoas e instituições. Nos últimos anos, o sector comercial tornou-se mais competitivo, de tal modo que as empresas e os clientes são extremamente ágeis e exigentes. O ciclo de vida de desenvolvimento dos produtos torna-se cada vez menor, obrigando a que as empresas e os gestores tenham necessidade de identificar problemas, riscos, oportunidades ao tomarem decisões operacionais e estratégicas em intervalos decrescentes de tempo. Dada esta situação, a competitividade de uma organização passa a ser determinada, em grande parte, pela sua estratégia de negócio. Essas decisões devem ser baseadas em informações atualizadas, completas e de elevada qualidade em diversas aplicações. Nas décadas recentes, os sistemas DW surgiram como uma solução para os problemas de apoio à decisão. Os gestores e executivos necessitam de recursos computacionais que fornecem suporte para apoio ao processo decisório, sobretudo nos níveis tático e estratégico das empresas. A informação tornou-se o bem mais valioso e o mais interessante é que esta informação está disponível nas próprias organizações e instituições. Os dados para a obtenção de informação estão armazenados em bases de dados operacionais, arquivos pessoais e documentos. O grande desafio é saber como tornar estes dados úteis para o sistema de apoio a decisão, transformando dados em informação e esta em ações que melhorem o processo de tomada de decisão. Para aceder a uma base de dados gigantesca e dispersa e conseguir concretizá-la numa fonte de informação viável, é necessário transformar e organizar os dados para a execução de informações estratégicas úteis. As decisões fazem parte da informação que está disponível e são tanto mais eficazes quando se torna necessário reestruturar e repensar os sistemas de instituições com o objetivo de na melhor forma disponibilizar a informação relevante para cada tipo de decisão. Esse tipo de informação que circula numa instituição é específico para cada nível da estrutura institucional. Desse modo, um gestor operacional necessita de informação para tratar e armazenar todo processo de transações diárias e necessários aos sistemas transacionais, pois a nível estratégico, a informação Página 1
13 deverá ser proveniente de diversas fontes sob um ponto de vista analítico e sistemas de suporte à decisão. A crescente evolução tecnológica e crescente utilizador de computadores ligados em rede, permite que médias e grandes empresas, instituições e organizações utilizem sistemas informáticos para realizar os seus processos úteis, o que com o passar do tempo gerou uma quantidade enorme dos dados relacionados. Esses dados armazenados num ou mais sistemas operacionais de uma empresa, instituição e organização identificam-se como um recurso, mas geralmente é muito raro servirem como recurso estratégico. As decisões são normalmente tomadas com base na experiência dos administradores da instituição mas poderiam também ser baseadas em factos históricos armazenados pelos diversos sistemas de informação, utilizados pelas instituições. Sob esta condição surgiu o Data Warehouse, como um desafio para integrar os dados, eliminadas as redundâncias e identificadas informações iguais que pudessem estar representadas sob formatos diferentes em sistemas distintos. Geralmente é utilizado em grandes corporações e coleções aos dados de sistemas transacionais diversos. No conceito principal de DW a importância mais relevante são os dados como fontes do controlo operacional e da estratégia da tomada a decisão. Este sistema tornou-se numa peça muito útil, dado que o processo de armazenamento de dados tem cada vez mais vindo a ganhar força devido à evolução do hardware e software. Hoje em dia as instituições de ensino superior são obrigadas a ser mais competitivas, utilizando todos os recursos disponíveis. Além de recursos de infraestrutura, instalações e pessoas, os sistemas de informação são um dos recursos que podem ser usados para melhorar a competitividade. Os sistemas de informação podem ser utilizados para adquirir, processar e disseminar informações para apoiar as operações diárias, bem como apoiar a tomada de decisões estratégicas. O desafio frequentemente encontrado é o facto de o sistema ser perfeito e as informações resultantes apresentado incompletas ou incorretos. Numa instituição do ensino superior é necessária servir todas as partes interessadas, tais como o estudante. Os exemplos de serviços prestados aos estudantes incluem pagamentos relativos à administração, a administração das inscrições nas disciplinas, administração da faculdade, entre outros (Caldeira, 2008). Um sistema integrado de informação é certamente necessário para acelerar as atividades de serviços. Dados das atividades académicas de ano para ano vão continuar a crescer e gerir bancos de dados cada vez maiores. A fim de não sobrecarregar os sistemas de processamento de transações existentes, os dados mais antigos precisam de ser transferidos para um DW. Um DW irá fornecer um relatório que é dinâmico e pode ser visto a partir das várias dimensões. O relatório que foi gerado também terá a capacidade para mais detalhes e informação mais resumida. Sem o Página 2
14 DW, os relatórios gerados serão estáticos de acordo com os dados das aplicações que estão no nível dos sistemas de informação de gestão. 1.2 Objetivos do Trabalho O estudo proposto por este trabalho pretende-se impressionar no interesse e vantagem de construção, implementação, gestão e utilização do sistema de DW no ensino superior da UNTL. De uma forma geral, tem alguns objetivos a considerar neste trabalho, dos quais foram: - Desenvolver um sistema transacional; - Projetar e desenvolver um sistema de DW; - Aplicar as tecnologias de modelação multidimensional; - Processar informação dos sistemas transacionais para sistema de análise DW através de tecnologias OLAP; - Produzir e disponibilizar relatórios que possibilitem extrair informação coerente. Esses objetivos são mesmo importantes para analisar as atividades académicas para apoiar a tomada de decisão a nível universitário. Podemos dizer que a informação que se passa na instituição será mais útil e bem decidido de maneira como foi utilizada, criando assim, a possibilidade de melhorar as condições da instituição tornando a mais competitiva. Um dos problemas que existe nas instituições em termos da informação é saber como organizar os dados a fim de transformá-los em informações úteis, relevantes e estratégicas para a tomada a decisão. Dentre as possíveis opções de ferramentas de gerenciamento e organização de informações, o DW aparecem como uma das aplicações mais importantes. Realmente, o DW possibilita explorar os dados transformando-os em informações necessárias à tomada de decisão, podendo assim gerar melhores resultados para uma instituição. Durante a elaboração deste trabalho verificou-se a falta de informações em condições, devido aos dados recolhidos serem da UNTL. Por fim, considera-se que esta informação seria importante para implementar um sistema de transacção para avaliar as informações mais necessárias e assim, prover informações de maneira organizada, selecionada e suficiente o que é certamente uma contribuição essencial à intituição. No entanto, o objetivo de DW é fornecer a informação certa, para a pessoa certa, no momento exato. 1.3 Metodologia Devido à singularidade do complexo sistema de informação da UNTL, foi necessário definir uma abordagem metodológica, que embora baseada nas tradicionais, possuísse características Página 3
15 próprias para se adequar neste contexto. A estrutura básica desta metodologia corresponde ao fluxo de atividades que são estudo dos dados, elaboração do modelo relacional, elaboração do modelo dimensional, avaliação dos modelos, processo de carga, desenvolvimento de relatórios e finalmente divulgados dos relatórios aos utilizadores. Um ponto incluído na metodologia foi a transformação dos dados, já que os dados originais não estão no modelo relacional. Inicialmente foi criado um modelo relacional no SQL Server e foi feito inserido dos dados de originais obtidos através de uma folha de cálculo para o modelo em questão. Os dados recolhidos foram importantes, dado que são fundamentais para este tipo do projeto de tese correspondendo aos dados de professores, alunos, disciplinas e cursos. Esses dados foram obtidos no serviço académico e nas direções da faculdade de Engenharia do ensino superior da UNTL. Contudo os dados são suficientes para a realização da parte prática do trabalho. Na etapa final, que o desenvolvimento dos relatórios geridos por objetivo de garantir a qualidade de informação produzida. Inicialmente desenvolverá alguns modelos de relatórios importantes baseado ao processo de negócio e ao fim publicados para o utilizador final. Uma etapa persistente em qualquer projeto é a definição das ferramentas para o desenvolvimento. O processo de escolha abrange vários aspetos, dentre eles, robustez para suportar o volume de dados, existência de casos de sucesso implementados na ferramenta e um custo acessível. Considerando estes aspetos, foi adotado um conjunto de ferramentas de apoio do Microsoft Visual Studio Na execução de relatórios foi utilizada a ferramenta do Report Builder 3.0 que possui algumas funcionalidades que atendem características específicas do projeto, tais como, a criação dos ditos relatórios. 1.4 Organização do Documento Este documento de dissertação encontra-se dividido em seis capítulos: Capítulo 1 Introdução e Relevância do Tema Este capítulo descreve uma apresentação do histórico do DW desde o início até à atualidade. Pretende também descrever as motivações e objetivos envolvidos ao DW em como será útil à tomada de uma decisão. Capítulo 2 Fundamentos Teóricos Página 4
16 Pretende-se enquadrar historicamente os sistemas de DW e fornecer definições para estes sistemas de acordo com alguns autores. Por outro lado, também descreverem-se as características de um DW e o modelo de arquitetura de dados, bem como o seu processo de desenvolvimento. Capítulo 3 Ferramentas Utilizadas Para O Caso Prático Descreve as ferramentas utilizadas para o desenvolvimento da aplicação de DW. Capítulo 4 Estudo de Caso Prático Descreve uma parte prática desta dissertação após ter explicação da parte teórica. Capítulo 5 Conclusão e Trabalhos Futuros Pretende-se efetuar uma conclusão e o trabalho futuro que será um alvo de criticar e sugerir coisas úteis nesta dissertação. 1.5 Cronograma do Trabalho O plano proposto para a implementação e desenvolvimento ao longo deste projeto, pode ver-se na Figura 1. Figura 1 Plano de Trabalho As descrições dos planos de trabalho ao longo deste projeto: Fase 1: A pesquisa de bibliografia sobre o tema, bem como análise pormenorizada do estado da arte no que diz respeito à implementação e desenvolvimento do sistema de DW. Fase 2: Esta segunda fase tem por objetivo a análise e especificação dos requisitos funcionais do DW. Inicialmente, efetua uma análise mais profunda dos sistemas operacionais existentes na instituição da UNTL, que deverão ser então, projetados o modelo conceptual e lógico do DW. Página 5
17 Fase 3: É útil perceber as fontes e bases de dados operacionais, a escolha da arquitetura e infraestrutura da tecnologia a implementar. Nesta terceira fase pretende-se efetuar a modelação multidimensional que constituirá o DW. Esta modelação do projeto, conjuntamente com uma análise profunda das fontes de dados, tanto ao nível de sistemas que os originam como dos próprios dados em si, devera ser feita de modo a poder elaborar uma estratégia para o processo de ETL dos dados. Fase 4: Considera-se como a continuação dos planos anteriores na estrutura do projeto. Obviamente é feito por desenvolvimento dos componentes de suporte ao processo de DW destacando-se os processos de ETL dos dados. Evidentemente, será realizar à análise multidimensional, as interrogações em SQL, multidimensional aos cubos de dados e a transformação dos resultados para os relatórios. Fase 5: Pretende-se avaliar os resultados obtidos através da ferramenta utilizada nos relatórios. Fase 6: Estabelecimento da escrita da dissertação. Página 6
18 Capítulo 2 Fundamentos Teóricos 2.1 Conceitos Básicos Atualmente no mundo da tecnologia, há uma grande volume de dados nas empresas mas tenham falta de informações significativas. Este é o caso devido à extensa utilização de sistemas de informação específicos, contribuindo para a pouca integração dos dados e a existência de ambientes não é muito adequados para o tratamento analíticos dos dados. O ambiente de DW atuar a necessidade em questão, promovendo a integração dos dados dos sistemas de informação espalhados pela organização e gerando um ambiente de consultas com informações significativas, neste sentido análises que ajudam no processo de tomada de decisão. Existem vários conceitos de DW propostos por diferentes perspetivas de autores. Assim apresentam-se dois dos principais conceitos que são considerados mais importantes. Primeiro, o conceito defendido pelo professor Ralph Kimball que é um dos mais conceituados precursores de conceitos de DW. Este autor refere que um DW não é mais do que a união de um conjunto de Data Marts. Um Data Mart pode ser definido como um DW de pequena capacidade que abrange uma determinada área ou departamento, oferecendo informações mais detalhadas sobre um determinado assunto em questão. O paradigma que Ralph Kimball defende baseia-se no facto da informação ser guardada utilizando o modelo dimensional (Raph Kimball, 1998). Segunda, outra das definições mais difundidas de DW foi dada por Bill Inmon que descreve DW como uma coleção de dados integrados, orientados, por assunto, não voláteis, variáveis no tempo, e que fornecem suporte ao processo de apoio à decisão " (Inmon, 2002). O paradigma deste autor difere um pouco do paradigma de Kimball e defende que um DW é apenas uma parte de todo o processo de BI. Uma organização possui por um DW de onde os Data Marts extraem a informação, sendo a informação guardada na terceira forma normal. Ambos os paradigmas são válidos na medida em que representam filosofias diferentes de DW. Uma definição mais expansiva para DW também inclui o BI que contém ferramentas para extração, transformação e carregamento de dados no repositório por motivo de obter e gerir os seus metadados. Desde já, a existência de BI no mercado de ferramentas de DW é considerado como as melhores ferramentas mais sofisticadas de que foram sendo desenvolvidas para apoiar a estrutura do DW e da sua utilização. Com base nestas definições, podem-se dizer de forma resumida, que o DW é uma base de dados de integração especial, que serve para dar suporte às altas gestores das empresas para análise de tendências históricas dos seus produtos, funcionários e clientes. Sabia que no DW os Página 7
19 dados são extraídos de múltiplas fontes de dados internas ou externas da empresa e organizações que no fim integrados num conjunto de ficheiro. O DW é construído para que tais dados possam ser armazenadas e acedidos de forma que não sejam limitados por tabelas e linhas estritamente relacionais. Assim elabora-se uma solução de DW significativo que descreve como um repositório unificado e consolidado da informação da organização, com um determinado histórico; os processos de extração, transformação e carregamento de informação, proveniente de diferentes sistemas operacionais; os processos de limpeza de dados; os repositórios departamentais (Data Marts) e as aplicações no cliente para que podem estabelecer á interação de consultas a informação do repositório (Daniele Del Bianco Hokama, 2004). Online Transactional Processing (OLTP) vs Online Analytical Processing (OLAP) É de fundamental importância para este trabalho explicitar as diferenças existentes entre essas duas metodologias de armazenamento de dados, para permitir melhor compreensão de seus objetivos. A principal diferença se caracteriza pelo DW ser um ambiente informacional, enquanto a base de dados convencionais das organizações, como se localizados em suas filiais, serem ambientes operacionais. No DW existem dois processos conhecidos e principais aos desenvolvedores dessa aplicação. Conhecemos primeiro (Inmon, 2005), os sistemas de processamento de Transação On-line ou OLTP que são sistemas operacionais de registro que capturam as transações diárias de uma empresa ou organização. Estes são dados responsáveis pela persistência dos dados que os aplicativos da empresa ou organização manipulam. Esse tipo de base é utilizado em sistemas que registam pequenas transações como Insert, Update e Delete realizadas em tempo real e que ocorrem constantemente e de forma rápida. Enquanto neste sistema operacional os dados podem ser alterados. Por não salvar histórico dos dados, isso não o qualifica como base de dados ideal para ajudar na tomada de decisões. Também é uma base que necessita de backup regularmente, pois caso o banco de dados seja perdido os dados não podem ser reaproveitados. Por fim a estes sistemas que os dados serão retirados e serem transformados em informação para a empresa ou organização. Enquanto por exemplo na empresa, se tivéssemos um sistema on-line de vendas e a empresa resolvesse começar a executar consultas imensas e demoradas, o sistema ficaria muito lento e provavelmente, não conseguiria registar a venda por estar ocupado processando a consulta. Página 8
20 O segundo processo conhecido é o OLAP disponibilize uma alternativa diferente. Este sistema analítico é constituído por um conjunto de tecnologias especialmente focados em dar suporte ao processo de decisão para as analistas, os gestores e os executivos. Também proporciona uma visão dos dados orientados à análise, cálculos, consultas e além de uma navegação rápida, consistente e flexível (Inmon, 2005). Este sistema de OLAP tem uma forma de receber os dados do OLTP para que possa realizar as análises. Essa carga de dados acontece conforme a necessidade da empresa ou organização. Sendo assim, um sistema para tomada de decisões, não se realizam transações como aquilo que o sistema OLTP faz Insert, Update e Delete, pois a sua finalidade são as consultas. Este sistema possui dados atuais e históricos e não há necessidade de backups regularmente, sendo que ele possui informações do OLTP. Por fim esses dados são armazenados em DW e necessita das partes de analistas e gestores a tomar decisões. Alguns autores (Jiawei Han, 2001) descrevem as diferenças entre os sistemas de OLTP e o ambiente de DW (OLAP), como na Tabela 1. Tabela 1. Comparação entre o sistema de OLTP e OLAP (Jiawei Han, 2001) Característica OLTP OLAP Propósito Processamento Processamento operacional informacional Orientado a Transações Análises Funções Operações dia a dia Suporte à decisão Base de dados (BD) Orientado a aplicação Orientado a assunto Dados Correntes, detalhados Consolidados, históricos Unidade de trabalho Transação Consultas complexas Acesso Leitura, incluir e Leitura excluir Foco Entrada de dados Saída de informações Número de registros Dezenas Milhares Medida de Tempo processamento Tempo de performance de transação processamento de consulta Utilizador Administrador de base Gestores, analistas e de dados (DBA), base de executivo dados profissional Página 9