Mecanismos de Apoio a Interpretação e. Recuperação de Padrões do Uso da Web. Baseados em Ontologia de Domínio - PDF
Mecanismos de Apoio a Interpretação e. Recuperação de Padrões do Uso da Web. Baseados em Ontologia de Domínio
Download "Mecanismos de Apoio a Interpretação e. Recuperação de Padrões do Uso da Web. Baseados em Ontologia de Domínio"
Nathalia Camelo Soares
1 PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO GRANDE DO SUL FACULDADE DE INFORMÁTICA PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO Mecanismos de Apoio a Interpretação e Recuperação de Padrões do Uso da Web Baseados em Ontologia de Domínio MARIÂNGELA VANZIN Dissertação apresentada como requisito parcial à obtenção do grau de Mestre, pelo Programa de Pós Graduação em Ciência da Computação da Pontifícia Universidade Católica do Rio Grande do Sul. Orientadora: Profª. Drª. Karin Becker Porto Alegre 2004
2 ii AGRADECIMENTOS À minha orientadora, professora Karin Becker, por toda a sua dedicação, ensinamentos e conselhos. Saiba que os constantes desafios lançados me fizeram crescer muito como pessoa. Alcides Vanzin, Merce Bergamin Vanzin, Emerson Vanzin, Renata Gheno e Andressa Vanzin. O carinho e compreensão de todos vocês que sempre me apoiaram, mesmo longe. A professora e amiga Mara Abel por todos os conselhos e pensamentos positivos. A mente é mesmo poderosa. Ao professor Marcelo Blois pelo intenso apoio, compreensão e paciência nos momentos em que tudo parecia desabar. Obrigada também pelas críticas que contribuíram para o meu crescimento. Ao grupo MIGAS (Taisa Carla Novello, Elceni Gelain, Laura Mastella). Cada uma de vocês foi fundamental para esta conquista. Aprendemos juntas que é o atrito que nos faz andar, que as dificuldades nos fazem crescer. E como crescemos nestes últimos anos. Aos colegas Giliane Redolfi e Cristiano Bertolini por terem compartilhado muitos momentos agradáveis e também estressantes durantes o período do mestrado. Momentos estes que ficarão registrados na memória e no coração. Ao André da Fonte Lopes, bolsista do projeto financiado pela FAPERGS, pelo comprometimento, dedicação e excelente trabalho realizado no desenvolvimento do protótipo definido com parte deste trabalho. Ao Convênio Dell-PUCRS por viabilizarem a bolsa de estudos durante os quase dois anos de mestrado. Ao Programa de Pós-Graduação em Ciência da Computação e a todos os professores dos quais pude conviver durante estes dois anos. Ao departamento de Educação a Distância (PUCRS Virtual), por fornecer os dados e assim, permitir o desenvolvimento deste trabalho.
3 iii No auge da dificuldade, você está a um passo de sua meta. Cada vez que fracassar, lembre-se que está mais perto da concretização de seu sonho. Do livro A verdade da Vida, vol 20 Masaharu Taniguchi
4 iv RESUMO O processo de Mineração do Uso da Web (MUW) permite extrair padrões de navegação a partir de arquivos de log armazenados nos servidores Web. O processo de MUW tem demonstrado utilidade para os domínios mais diversificados, porém existem problemas que comprometem a sua efetividade. O processo de MUW é composto pelas fases de Preparação de Dados, Mineração de Dados e Análise de Padrões. Esta pesquisa enfoca a fase de Análise de Padrões, que tem por objetivo identificar padrões relevantes para o domínio da aplicação dentre os retornados da fase de Mineração de Dados. Problemas encontrados nesta fase referem-se à dificuldade de interpretação e recuperação de padrões. Muitas vezes, os padrões são incompreensíveis para o analista devido à falta de semântica na representação destes, formados geralmente por URL s que nem sempre expressam intuitivamente os eventos de domínio disponíveis no site. A dificuldade encontrada quanto à recuperação de padrões deve-se à grande quantidade de padrões resultantes de algoritmos tradicionais de Mineração de Dados, na maioria das vezes desinteressantes e redundantes. Perante estes problemas identificados, este trabalho propõe mecanismos de apoio à interpretação e à recuperação de padrões do uso da Web, através da exploração do conhecimento representado por Ontologia de Domínio. Os padrões considerados neste trabalho são padrões seqüenciais de navegação. Os mecanismos de interpretação propostos permitem: representar os padrões seqüenciais através de padrões conceituais, que expressem os eventos de domínio envolvidos; e permitir a análise exploratória e interativa destes padrões aprofundando a compreensão e explorando padrões relacionados. Os mecanismos de recuperação visam: a geração de agrupamentos de padrões restringindo o escopo da busca; definir filtros de acordo com o interesse do analista, utilizando a Ontologia de Domínio como apoio; e finalmente recuperar padrões similares ao interesse especificado nos filtros. Para avaliação da abordagem proposta, foi desenvolvido um ambiente de apoio à fase de Análise de Padrões que incorpora os mecanismos de interpretação e recuperação de padrões. Este ambiente foi utilizado num estudo de caso que aplica o processo de MUW ao domínio da Educação a Distância. Palavras-Chaves: Análise de padrões, Interpretação e recuperação de padrões do uso da Web, Mineração do Uso da Web.
5 v ABSTRACT Web Usage Mining (WUM) aims to extract navigation usage patterns from Web server log files. While WUM techniques were proven to be useful, many problems need to be solved for their effective application. The WUM process is composed by three generic phases: preprocessing, mining and pattern analysis. This research focuses on the pattern analysis phase, which aims at identifying, from the patterns yielded by the mining phase, the relevant ones for the application domain. Problems found in this phase are related to pattern interpretation and retrieval. Usually, patterns are incomprehensible for the analyst because there is semantic gap between URLs and the events performed by users in a site. Pattern retrieval is critical because mining algorithms yield a huge number of patterns and most of them are useless and redundant. This research proposes ontology-based mechanisms targeted at the interpretation and retrieval of sequential navigation patterns. The interpretation approach allows: a) the representation of patterns in a more intuitive form; b) interactive pattern rummaging for improving the comprehension of the meaning of a pattern, as well as discovering related patterns. The retrieval approach allows: a) the definition of filters based on conceptual, structural and statistical constraints established over the concepts of the ontology; b) the search for patterns that either match the user-specified filter or are similar to it in some degree; and c) the clustering of related patterns to set focus on the interpretation activity. The ontology-based mechanisms constitute a supporting environment for the pattern analysis phase, for which a prototype was developed. The use of these mechanisms is illustrated and analyzed in a case study in the Distance Education domain. Key-words: Web Usage Pattern Analysis, Web Usage Pattern interpretation and retrieval, Web Usage Mining;
6 vi LISTA DE FIGURAS Figura 1: Atividades desenvolvidas na condução da pesquisa...4 Figura 2: As três áreas da Mineração de Dados da Web...6 Figura 3: Fases da Mineração do Uso da Web....8 Figura 4: Amostra de dados do log de acesso no formato CLF...9 Figura 5: Visão de Página Web e Log...10 Figura 6: Padrão Seqüencial...12 Figura 7: Descoberta de Padrões Seqüenciais...13 Figura 8: Descoberta de Padrões Seqüenciais com uso de Taxonomia...16 Figura 9: Interpretação de um padrão seqüencial pelo especialista...18 Figura 10: Filtros e as fases do processo de KDD...22 Figura 11: Taxonomia das disciplinas de um curso de Ciência da Computação...26 Figura 12: Padrões de navegação retornados pela ferramenta WUM...27 Figura 13: Dimensões da hierarquia Conceitual do site SchulWeb...31 Figura 14: Relação entre Web Semântica e Mineração da Web...34 Figura 15: Log Semântico...35 Figura 16: Visualização do Padrão de navegação pela ferramenta WUM...37 Figura 17: Representação gráfica de regras associativas...38 Figura 18: Regras associativas na arena...38 Figura 19: Níveis de representação dos eventos de domínio...42 Figura 20: Estrutura da Ontologia de Domínio...44 Figura 21: Mapeamento entre Nível Físico e Nível Conceitual...45 Figura 22: Entradas para a fase de Análise de Padrões...47 Figura 23: Exemplo do padrão seqüencial físico...50
7 vii Figura 24: Padrão Seqüencial Conceitual...51 Figura 25: Detalhamento de hierarquias...53 Figura 26: Detalhamento de relacionamentos...54 Figura 27: Padrão Conceitual Base e Padrões Conceituais Abstratos...55 Figura 28: Padrões Seqüenciais Físicos...58 Figura 29: Operação de drill-down...59 Figura 30: Exemplo de Padrões Maximais...66 Figura 31: Agrupamentos de acordo com o critério maximal...67 Figura 32: Estrutura de um filtro de interesse...68 Figura 33: Filtro de Interesse composto por uma restrição conceitual...70 Figura 34: Filtro de Interesse composto por uma restrição conceitual e uma estrutural...71 Figura 35: Filtro de Interesse composto por uma restrição conceitual e duas estruturais...72 Figura 36: Filtro de Interesse composto por uma restrição conceitual, duas estruturais e uma estatística...72 Figura 37: Similaridade entre dois conceitos definida pela função Sim(l 1, l 2 )...75 Figura 38: Medida de similaridade pontual Restrição estrutural de início e fim...76 Figura 39: Valor de Similaridade de uma seqüência do padrão conceitual base...77 Figura 40: Medida de similaridade pontual Restrição estrutural de ordem...78 Figura 41: Filtro de Interesse e Filtro Generalizado...80 Figura 42: Diagrama de Casos de Uso do Protótipo...86 Figura 43: Ambiente de Apoio e suas entradas e saída...87 Figura 44: Arquitetura do Protótipo e suas entradas...88 Figura 45: Esquema da base de dados...89 Figura 46: Exemplo de dados extraídos de um log pré-processado...89
8 viii Figura 47: Interface do Módulo de Definições...91 Figura 48: Exemplo de um conjunto de padrões seqüenciais...92 Figura 49: Área de Importação dos Padrões...93 Figura 50: Área de definição do Critério de Agrupamento...94 Figura 51: Área de Definição da Dimensão de Interesse...94 Figura 52: Interface do Módulo de Agrupamento e Interpretação de Padrões...95 Figura 53: Áreas de Agrupamento de Padrões e Padrões Contidos...96 Figura 54: Áreas de Agrupamentos de Padrões e Análise Exploratória...97 Figura 55: Explorando um padrão conceitual base...98 Figura 56: Operação roll-up...99 Figura 57: Operação drill-down...99 Figura 58: Interface do Módulo de Recuperação através de Filtros Figura 59: Área de Representação da Ontologia de Domínio Figura 60: Área de Definição de Filtro Figura 61: Área de Padrões Filtrados Figura 62: Ambiente de ensino construído pelos recursos do WebCT Figura 63: Amostra do Log do WebCT Figura 64: Topologia do Curso_ABC Figura 65: Amostra de um arquivo texto obtido pela ferramenta Intelligent Miner Figura 66: Inspecionando área de Agrupamentos de Padrões e Padrões Contidos Figura 67: Área de Análise Exploratória Figura 68: Padrão conceitual na dimensão de interesse em conteúdo Figura 69: Padrão conceitual na dimensão de interesse em serviço Figura 70: Realizando operações de detalhamento de relações hierárquicas...114
9 ix Figura 71: Explorando o significado das relações de propriedade Figura 72: Exemplo de padrão abstrato Figura 73: Padrões conceituais detalhe Figura 74: Definição do filtro de interesse - I Figura 75: Definição do filtro de interesse - II Figura 76: Aplicação do método de busca aproximada...118
10 x LISTA DE TABELAS Tabela 1. Comparação das abordagens...40 Tabela 2. Mapeamento das URLs para os conceitos da ontologia...49 Tabela 3. Exemplo de padrões seqüenciais conceituais...50 Tabela 4. Dados preparados resultantes da fase de Preparação de Dados...57 Tabela 5. Mapeamento...57 Tabela 6. Comparação da abordagem proposta X abordagens semânticas pesquisadas Tabela 7. Medidas de similaridade entre conceitos...75 Tabela 8. Medidas de similaridade nas seqüências...78 Tabela 9. Comparação da abordagem proposta X abordagens de filtragem pesquisadas...83 Tabela 10. Funcionalidades para definições...84 Tabela 11. Funcionalidades para recuperação e interpretação de padrões...85 Tabela 11. Mapeamento das URLs para conceitos da Ontologia...90 Tabela 12. Comparação do Processo de MUW anterior com o atual...119
11 xi LISTA DE ABREVIATURAS CLF EAD ELF GVSM HTML HTTP KDD MUW OWL OLAM OLAP PUCRS RDFS URL WebCT WUM Common Log Format Educação a Distância Extend Log File Format Generalized Vector Space Model HyperText Markup Language Hypertext Transfer Protocol Knowledge Discovery in Database Mineração do Uso da Web Web Ontology Language On-line Analytical Mining On-line Analytical Processing Pontifícia Universidade Católica do Rio Grande do Sul Resource Description Framework Schema Uniform Resource Locate Web Course Tool Web Utilization Miner
12 xii SUMÁRIO RESUMO...iv ABSTRACT...v LISTA DE FIGURAS...vi LISTA DE TABELAS...x LISTA DE TABELAS...x LISTA DE ABREVIATURAS...xi LISTA DE ABREVIATURAS...xi SUMÁRIO...xii 1 INTRODUÇÃO Contexto Geral Objetivo do Trabalho Método de Pesquisa Estrutura do Trabalho MINERAÇÃO DE DADOS DA WEB Mineração do Uso da Web Processo de Mineração do Uso da Web Preparação dos Dados Mineração de Dados Algoritmo AprioriAll Análise de Padrões Considerações TRABALHOS RELACIONADOS Abordagens de Filtragem Filtros Estatísticos Considerações Filtros Estruturais Considerações Abordagens Semânticas Taxonomia Considerações Ontologia de domínio Considerações Abordagem de Representação Considerações...39
13 xiii 4 REPRESENTAÇÃO DA ONTOLOGIA DE DOMÍNIO PARA A INTERPRETAÇÃO E RECUPERAÇÃO DE PADRÕES SEQÜENCIAIS Ontologia de Domínio Nível Conceitual Nível Físico e Mapeamento O Processo de MUW Criação da Ontologia de Domínio e Mapeamento Preparação de Dados Mineração de Dados Análise de Padrões MECANISMOS DE INTERPRETAÇÃO DE PADRÕES DO USO DA WEB Representação de Padrão Seqüencial Conceitual Análise Exploratória Detalhamento de Relacionamentos Roll-up Suporte de um Padrão Conceitual Abstrato Drill-down Considerações MECANISMOS DE RECUPERAÇÃO DE PADRÕES DO USO DA WEB Agrupamento de Padrões Critério Maximal Filtros de Interesse baseados na Ontologia de Domínio Mecanismo de Busca Equivalente Mecanismo de Busca Aproximada Medidas de Similaridade Similaridade de um padrão conceitual base em relação ao filtro Combinação de Filtros e Medidas de Similaridade Considerações AMBIENTE DE APOIO À INTERPRETAÇÃO E RECUPERAÇÃO DE PADRÕES DO USO DA WEB Arquitetura do Protótipo Base de Dados Log pré-processado Ontologia de Domínio Mapeamento Módulo de Definições Área de Importação dos Padrões Área de definição do Critério de Agrupamento Área de Definição da Dimensão de Interesse Módulo de Agrupamento e Interpretação de Padrões Área de Agrupamentos de Padrões Área de Padrões Contidos Área de Análise Exploratória Área de Padrões Detalhe...100
14 xiv Módulo de Recuperação através de Filtros Área da Ontologia de Domínio Área de Definição de Filtros Área de Padrões Filtrados ESTUDO DE CASO EM UM AMBIENTE DE ENSINO A DISTÂNCIA Ambiente de Ensino da EAD da PUCRS Log do WebCT Processo de MUW na EAD Abordagem de Machado [MAC03] Estudo de Caso Preparação de Dados Ontologia de Domínio e Mapeamento Descoberta de Padrões de Uso da Web na EAD Análise de Padrões: Cenário de Uso Definições iniciais Inspecionando Agrupamentos e Interpretando Padrões Definindo filtros e Recuperando Padrões Considerações Depoimento do Analista CONCLUSÕES E TRABALHOS FUTUROS REFERÊNCIAS ANEXO I ANEXO II...134
15 1 1 INTRODUÇÃO 1.1 Contexto Geral O fluxo incessante de acessos às páginas da Internet via Web reflete os conteúdos mais diversos, bem como costumes e necessidades pessoais ainda mais distintos, resultando em padrões de utilização extremamente ricos e diversificados. Compreender estes padrões de navegação que impulsionam os usuários durante a navegação em um site tem motivado grande quantidade de pesquisadores em áreas tão diversas como redes de computadores, banco de dados, inteligência artificial, entre outras. A Mineração do Uso da Web (MUW) é a área que se dedica à extração de padrões que revelam o comportamento de navegação dos usuários na Web. Estes padrões são obtidos, principalmente, a partir da análise de logs de acessos mantidos em servidores Web. Os logs registram URLs referente às páginas Web e arquivos acessados pelos usuários durante a visita a um site. O processo de MUW é composto por três etapas distintas: Preparação de Dados, Mineração de Dados e Análise de Padrões [COO99]. Esta pesquisa enfoca a fase de Análise de Padrões, a qual aborda a identificação de padrões relevantes ao domínio da aplicação dentre os obtidos através da aplicação de técnicas de Mineração de Dados. Padrões relevantes podem, por exemplo, auxiliar as organizações a planejar estratégias de marketing de venda de produtos, a conhecer o tempo de vida dos seus clientes, efetivar campanhas promocionais, etc [COO97]. Estes padrões também fornecem subsídios aos projetistas na tomada de decisões referentes à estrutura ou topologia utilizada na estruturação do site. Sem o conhecimento descoberto a partir da MUW, o projeto de um site dependeria apenas das suposições dos projetistas em relação às expectativas e modelos comportamentais dos usuários. Ainda, os padrões de navegação podem ser utilizados com o intuito de propor melhoras no conteúdo disponibilizado em um site. Assim, a MUW torna-se útil quando padrões que agregam valor ao domínio da aplicação são identificados (i.e. conhecimento), o que não constitui é uma atividade trivial. Ela depende da interpretação dos padrões e da recuperação dos relevantes ao domínio. Entende-se por interpretação de padrões as atividades executadas para o entendimento das
16 2 informações expressas por um padrão. Já recuperação de padrões refere-se às atividades realizadas para encontrar padrões em meio a um conjunto destes. Analistas enfrentam dificuldade na interpretação dos padrões descobertos na MUW. Estes são usualmente representados por coleções de URLs que nem sempre expressam de forma evidente e intuitiva os serviços e conteúdos que impulsionam a navegação dos usuários pelas páginas Web. Desta forma, a interpretação dos padrões de navegação pode ser prejudicada uma vez que não há interesse em padrões formados por URLs e sim em padrões que expressem o conteúdo e serviço envolvidos neles. Neste contexto, pesquisas vêm sendo realizadas (e.g. [OBE03, DAI02, BER00]) visando associar a MUW com representações do conhecimento do domínio que especificam a semântica das requisições às páginas feitas pelos usuários. O objetivo principal destas abordagens é obter resultados com maior semântica e facilitar o processo de inspeção e análise dos padrões interessantes. Além da falta de representação semântica dos padrões, outro problema na análise refere-se à dificuldade de recuperação dos padrões relevantes devido à existência de um grande número destes, resultantes das técnicas de Mineração de Dados. Em meio a tantos padrões, muitos são irrelevantes por representarem um conhecimento de senso comum e ainda diversos são redundantes. Para amenizar este problema, abordagens propõem diferentes métodos para redução do número de padrões de acordo com o interesse especificado, sendo de responsabilidade do analista definir o que é relevante ao domínio da aplicação através de medidas de interesse objetivas (e.g [AGR93, AGR94a] ), crenças do domínio (e.g [SIL96, COO03, POH03]) e filtros (e.g [KLE94, SPI98]). Perante os problemas identificados na fase de Análise de Padrões, este trabalho tem como objetivo propor mecanismos que facilitem as atividades de interpretação e recuperação de padrões ao escopo das aplicações de MUW através da exploração do conhecimento representado por Ontologia de Domínio. Resultados preliminares desta pesquisa foram relatados em [BEC03, VAN04, VAN04a]. 1.2 Objetivo do Trabalho O objetivo principal deste trabalho é propor mecanismos que facilitem a interpretação e recuperação de padrões seqüenciais de navegação através da utilização de Ontologia de Domínio disponibilizada previamente. Estes mecanismos referem-se a duas dificuldades
17 3 principais encontradas na fase de Análise de Padrões: a grande quantidade de padrões resultantes da aplicação de algoritmos para a busca de padrões seqüenciais e a falta de semântica neles representada. Os objetivos específicos são: propor mecanismos que facilitem a interpretação de padrões através da representação de padrões seqüenciais de URLs em padrões conceituais; propor mecanismos que facilitem a interpretação dos padrões conceituais através da análise exploratória da semântica destes padrões conceituais; propor mecanismos que auxiliem a recuperação de padrões conceituais através da definição de filtros com o uso de Ontologia de Domínio; definir um ambiente de apoio à fase de Análise de Padrões que incorpore estes mecanismos, permitindo uma avaliação sobre a utilidade dos mesmos. 1.3 Método de Pesquisa A Figura 1 representa as principais atividades desenvolvidas na condução deste trabalho. Inicialmente foram estudadas as principais fontes sobre o processo de MUW, fornecendo um entendimento geral. Posteriormente, o estudo restringiu-se à fase de Análise de Padrões, onde o problema motivador para esta pesquisa foi identificado. Ele refere-se à dificuldade de interpretação e recuperação padrões relevantes ao domínio. Identificado o problema, foi possível definir o objetivo principal deste trabalho e direcionar a pesquisa as abordagens relacionadas ao problema. Primeiramente o estudo enfocou os trabalhos que propõem suporte à recuperação de padrões relevantes ao domínio da aplicação através da especificação de medidas e filtros. Com este estudo verificou-se que a atividade de identificar padrões interessantes relaciona-se à redução do número destes, o que nem sempre é eficiente pois padrões relevantes podem ser desconsiderados. Outro ponto verificado é que estas abordagens não forneciam suporte a interpretação de padrões, sendo de responsabilidade do analista, utilizar seu conhecimento sobre o domínio para interpretar e avaliar os padrões. Desta forma, a continuidade da pesquisa focou-se em abordagens que propunham a integração do conhecimento do domínio ao processo de MUW tornando a
18 4 atividade de Análise dos Padrões menos dependente do conhecimento do domínio detido pelos analistas. Estas abordagens forneceram subsídios para a definição dos mecanismos de apoio a interpretação e recuperação de padrões do uso da Web. Posteriormente à definição dos mecanismos de suporte à fase de Análise de Padrões, o passo seguinte consistiu no desenvolvimento de um ambiente de apoio através de um protótipo que implementa estes mecanismos. Visando avaliá-lo, este ambiente foi utilizado num estudo de caso no domínio da Educação a Distância (EAD) que possibilitou a uma comparação do processo de MUW aplicado no domínio da EAD utilizando o ambiente de apoio à fase de Análise de Padrões, com outro processo de MUW no mesmo domínio, porém sem apoio a esta fase. Estudar Base Teórica Identificar Problema Definir Objetivos Estudar Trabalhos Relacionados Definir Mecanismos de Interpretação e Recuperação de Padões do Uso da Web Desenvolver Protótipo Estudo de Caso Figura 1: Atividades desenvolvidas na condução da pesquisa
19 5 1.4 Estrutura do Trabalho Este trabalho está dividido em 9 capítulos. O Capítulo 2 apresenta as fases que compõem o processo de MUW, focando-se na fase de Análise de Padrões, cujos principais problemas são relatados. O Capítulo 3 discorre sobre as principais abordagens que visam auxiliar a interpretação e recuperação de padrões. O Capítulo 4 apresenta os principais objetivos da abordagem proposta, assim como os requisitos para a representação da Ontologia de Domínio para a interpretação e recuperação de padrões seqüenciais. Também são apresentadas algumas particularidades quanto às fases do processo de MUW. O Capítulo 5 e 6 descrevem os mecanismos propostos para auxiliar a fase de Análise de Padrões. O Capítulo 5 descreve os mecanismos de interpretação de padrões que se referem aos padrões seqüenciais conceituais e a análise exploratória destes. Já o Capítulo 6 apresenta os mecanismos voltados à recuperação de padrões. Estes possibilitam a geração de agrupamentos de padrões focando o escopo da busca; definição de filtros de interesse, utilizando a Ontologia de Domínio como apoio; e finalmente a definição de mecanismos de busca por padrões, envolvendo ou não medidas de similaridade. O Capítulo 7 descreve o ambiente de apoio proposto para avaliar os mecanismos de interpretação e recuperação de padrões durante a fase de Análise de Padrões. O Capítulo 8 apresenta um estudo de caso realizado no contexto da Educação a Distância para avaliar os mecanismos propostos. Este último capítulo também apresenta um comparativo entre dois processos de MUW no ambiente de EAD, sendo um com apoio à fase de Análise de Padrões. O Capítulo 9 discorre sobre as conclusões, limitações e trabalhos futuros. Posteriormente, encontram-se as referências bibliográficas pesquisadas e os demais anexos.
20 6 2 MINERAÇÃO DE DADOS DA WEB Este capítulo apresenta as áreas distintas da Mineração de Dados da Web, destacando a Mineração do Uso da Web (MUW). As fases que compõem o processo de MUW são detalhadas, focando-se na fase de Análise de Padrões, cujos principais problemas são relatados. A Mineração de Dados (Data Mining) é considerada parte de um grande processo de descoberta de conhecimento em banco de dados (KDD Knowledge Discovery in Database). KDD corresponde à exploração e análise, por meio automático ou semi-automático, de grande quantidade de dados, com o propósito de descobrir regras e padrões significativos [BER97]. A partir dos esforços da Mineração de Dados associados com a Web, surgiu uma nova área de aplicação denominada de Mineração da Web (Web Mining), a qual visa utilizar técnicas de Mineração de Dados para descoberta e análise de informações úteis da Web. As técnicas da Mineração de Dados da Web visam descobrir conhecimento novo e relevante dos dados da Web, onde a partir das informações descobertas seja possível demonstrar características, comportamentos, tendências e padrões de navegação do usuário da Web [COO99, SRI00]. A Mineração da Web se divide em três categorias de acordo com a parte da Web a ser minerada: Mineração de Conteúdo (Web Content Mining), Mineração de Estrutura (Web Structure Mining) e Mineração do Uso (Web Usage Mining) [KOS00, SRI00]. A distinção entre estas categorias está representada na Figura 2, extraída de Berendt et al. [BER02a]. Mineração de Conteúdo da Web Mineração de Estrutura da Web Mineração do Uso da Web Figura 2: As três áreas da Mineração de Dados da Web
21 7 A Mineração do Conteúdo trata da descoberta de informações úteis referente ao conteúdo, dados, documentos e serviços da Web. Cabe salientar que o conteúdo da Web não se restringe a texto ou hipertexto, também abrangendo uma ampla variação de tipos de dados, tais como áudio, vídeo, dados simbólicos, metadados e vínculos de hipertexto. Já Mineração da Estrutura da Web foca-se nas informações que existem de forma implícita entre os documentos, procurando descobrir um modelo sobre a estrutura de links da Web. O modelo é baseado na topologia de hyperlinks, podendo ser utilizado para categorizar conjuntos de páginas Web e ser útil na geração de informações similares e relacionadas entre diferentes sites Web. Assim, este tipo de mineração busca encontrar a estrutura de hyperlinks interna à própria Web. A Mineração do Uso da Web (MUW) centra-se na descoberta de padrões de uso da Web. A MUW é descrita em detalhe na seção seguinte por ser o foco principal desta pesquisa, mas cabe ressaltar que ela relaciona-se diretamente com as demais áreas da Mineração de Dados da Web, afinal o comportamento de navegação é dependente da estrutura do site Web e do conteúdo disponibilizado nele [COO03]. 2.1 Mineração do Uso da Web A MUW centra-se na aplicação de técnicas que possam detectar padrões de comportamento dos usuários enquanto eles interagem com sites disponíveis na Web [KOS00, SRI00]. A descoberta de padrões de navegação pelas páginas Web proporciona um entendimento mais aprofundado do comportamento dos usuários bem como da estrutura e do conteúdo das páginas Web envolvidos na interação dos usuários com o site Web [MOB96, SRI00]. Freqüentemente as organizações desenvolvem seus sites da forma que seus projetistas consideram mais apropriada para os usuários. A coleta e posterior análise dos dados referentes aos acessos podem esclarecer a natureza do tráfego no site, auxiliando na compreensão do comportamento dos usuários, e permitindo assim verificar se o site está eficientemente projetado e organizado. Segundo Cooley et al. [COO99], a mineração do uso da Web proporciona um equilíbrio entre a visão do projetista de como o site deveria ser usado em contraste com a maneira como os usuários navegam através dele.
22 8 A análise dos dados obtidos através da aplicação de técnicas de mineração do uso da Web tem demonstrando ser eficiente nos mais variados domínios, abrangendo desde o comércio eletrônico (e.g. [SRI00, KOS00, COO99]) até a Educação a distância (e.g. [MAC03, ZAI01]). Por exemplo, analisando os padrões descobertos na área do comércio eletrônico é possível auxiliar as organizações a planejar estratégias de marketing de venda de produtos, a conhecer o tempo de vida dos seus clientes, efetivar campanhas promocionais, entender a motivação dos usuários durante a navegação, construir sites adaptativos, etc. Já no contexto da Educação a Distância, a MUW pode ser utilizada para sugerir melhorias quanto ao conteúdo e estrutura de um curso, assim como avaliar a efetividade do projeto de um site de acordo com os diferentes processos de aprendizagem. 2.2 Processo de Mineração do Uso da Web O processo de MUW é composto por três etapas distintas, cada uma com suas próprias características, métodos, entradas e saídas [COO99]. São elas: Preparação de dados: inclui seleção e limpeza de dados, identificação de usuários, sessões e transações, complemento do caminho de acesso às páginas Web entre outras atividades; Mineração de Dados: aplicação de algoritmos de Mineração de Dados gerando regras, padrões e estatísticas; Análise de Padrões: descoberta de regras e padrões interessantes. A Figura 3, adaptada de [COO97], ilustra cada uma das fases, assim como os principais elementos que compõem o processo de MUW. Cabe salientar que o processo de MUW é altamente iterativo e interativo, podendo envolver contínuos retornos a uma ou mais fases. PROCESSO DE MUW PREPARAÇÃO DE DADOS MINERAÇÃO DE DADOS ANÁLISE DE PADRÕES Figura 3: Fases da Mineração do Uso da Web.