4. Que tipos de padrões podem ser minerados. 5. Critérios de classificação de sistemas de Data Mining. 6. Tópicos importantes de estudo em Data Mining - PDF
Download "4. Que tipos de padrões podem ser minerados. 5. Critérios de classificação de sistemas de Data Mining. 6. Tópicos importantes de estudo em Data Mining"
Leila Mirandela Maranhão
1 Curso de Data Mining - Aula 1 1. Como surgiu 2. O que é 3. Em que tipo de dados pode ser aplicado 4. Que tipos de padrões podem ser minerados 5. Critérios de classificação de sistemas de Data Mining 6. Tópicos importantes de estudo em Data Mining 7. Aplicações 8. Sistemas Comerciais de Data Mining
2 Como surgiu MUITOS DADOS POUCA INFORMAÇÃO Grandes volumes de dados disponíveis Arquivos de dados cemitério de dados : raramente visitados. Necessidade de transformar estes dados em informação útil necessidade de desenvolvimento de ferramentas de mineração.
3 Como surgiu Decisões são tomadas utilizando intuição. Tecnologias de sistemas especialistas que inserem manualmente o conhecimento na base de dados : procedimento passível de erros e extremamente custoso em tempo. Ferramentas de Data mining realizam análise de grandes volumes de dados e podem descobrir padrões interessantes frequentes nos dados. O grande abismo entre dados e informação requer o desenvolvimento de ferramentas de datamining que vão transformar os cemitérios de dados em minas de conhecimento.
4 O que é Data Mining Uma das etapas do processo de Descoberta de Conhecimento Limpeza dos dados : eliminação de ruídos e dados inconsistentes. Integração dos dados : diversas fontes de dados são combinadas. Seleção dos dados dados relevantes às tarefas de análise são extraidos do banco de dados. Transformação dos dados : formas apropriadas para mineração.
5 O que é Data Mining - continuação Data Mining : métodos inteligentes são aplicados nos dados já preparados a fim de extrair padrões interessantes (de acordo com critérios do usuário). Pós-processamento dos padrões minerados para identificar quais são realmente interessantes para o usuário. Visualização : técnicas de visualização e representação de conhecimento são utilizadas para apresentar o conhecimento minerado ao usuário.
6 Em que tipo de dados pode ser aplicado Bancos de Dados Relacionais : Consultas clássicas SQL : dar a lista dos artigos comprados no último trimestre. Data Mining : predizer os riscos de crédito a novos clientes baseados em seus rendimentos, idade e informações sobre créditos passados.
7 Em que tipo de dados pode ser aplicado Data Warehouse : Modelo Multidimensional ou data cubes Consultas OLAP (On Line Analytical Processing) : permitem obter os dados sob diferentes graus de sumarização. Exemplo : obter o total de vendas por região, por país, etc, a partir de dados de vendas organizados por cidade. Data Mining : Descobrir existência de clusters de clientes em diferentes localidades, ou em diferentes faixas de salário.
8 Em que tipo de dados pode ser aplicado Bancos de Dados de Transações : tickets de supermercado, por exemplo : Trans-id T100 ItensComprados Pão, Leite, Açúcar Consultas Clássicas : Quantas transações incluem o item Pão? Data Mining : Quais itens têm boa saída conjuntamente? Exemplo: se impressoras são normalmente compradas conjuntamente com um computador, então uma boa estratégia seria oferecer modelos caros de impressoras com desconto para clientes que compram certas marcas de computadores.
9 Em que tipo de dados pode ser aplicado Sistemas de Bancos de Dados Avançados Orientado-objeto / Relacional-estendido Espacial : bancos de dados geográficos, imagens médicas e de satélite. Ex: mapas de cidades, incluindo informações sobre ruas de mão-única, sugestões de caminhos para ser ir de um ponto A a um ponto B, hora do rush, localização de restaurantes e hospitais, etc. Possíveis padrões : características de casas localizadas em certas regiões (parques, por exemplo). Temporal Textos e Multimídia Não estruturados ou Semi-estruturados (XML)
10 Que tipos de padrões podem ser minerados Numa grande loja de departamentos... Regras de Associação : Clientes entre 20 e 29 anos, com rendimentos mensais entre 2000 e 5000 normalmente compram DVD Players. idade(x, ) AND rend(x, ) compra(x, DVD-Player ). Classificação e Predição : encontrar critérios que classifiquem os artigos da loja em vende bem, vende mais ou menos, não vende ; poder-se-ia descobrir que os critérios seriam preço, marca, categoria, lugar de fabricação.
11 Que tipos de padrões podem ser minerados Análise de Clusters : Detecção de clusters correspondendo à localização de clientes numa cidade. Os clientes estão aglutinados em torno de três locais na cidade. Análise de Outliers : Deteção de eventos raros, fora do padrão; Clientes que excepcionalmente fazem uma compra de grande valor e pagam com cartão de crédito provavelmente estão tendo um comportamento fraudulento. Sequências (ou Análise Evolutiva) : clientes têm tendência a comprar aparelhos de TV, depois Vídeo-Cassete e depois DVD. Padrão Sequencial : <TV,Vídeo,DVD>
12 Critérios de classificação de sistemas de Data Mining Quanto ao tipo de bancos de dados : relacional, transacional, orientado-objeto, relacional-estendido, datawarehouse; Quanto ao tipo de conhecimento minerado : regras de associação, classificação, clustering, outliers, análise de sequências; Quanto ao tipo de técnicas utilizadas : técnicas de aprendizado de máquina (Machine Learning), estatística, redes neurais, algoritmos genéticos, etc; tipos de interação com o usuário; Quanto ao tipo de aplicações a que são dirigidos : telecomunicações, análise financeira, bio-informática, mercado de ações, comércio eletrônico; Diferentes aplicações requerem a integração de metódos específicos.
13 Tópicos importantes de estudo em Data Mining Mineração de diferentes tipos de padrões; Mineração interativa; Desenvolvimento de Linguagens de Mineração : permitindo ao usuário solicitar tarefas de mineração; Desenvolvimento de Ferramentas de Visualização do conhecimento minerado; Gerenciamento de ruídos e dados incompletos; Eficiência e escalabilidade dos algoritmos de mineração;
14 Aplicações Análise Financeira predição de pagamentos de empréstimos, política de créditos para clientes. classificação e clustering de clientes para fins de marketing direcionado. detecção de lavagem de dinheiro e outros crimes financeiros. Necessita integração de diferentes bancos de dados : dados bancários, registros de polícias estaduais e federais.
15 Aplicações Comércio varejista, E-comércio Marketing - Campanhas publicitárias Sugestões de compras aos clientes Melhor design de sites de compras Distribuição de artigos nas prateleiras Análise de fidelidade da clientela
16 Aplicações Indústria de Telecomunicações Identificação de atividades fraudulentas - padrões atípicos de comportamento. Regras de associação e padrões sequenciais : Se um cliente mora em São Paulo e trabalha fora de São Paulo, então é bem provável que ele faça uma chamada interurbana entre as duas localidades por volta de 17:00h e duas horas depois utilize o celular por pelo menos 30 minutos.
17 Aplicações Análises biomédicas e de DNA Identificação de sequências de genes que desempenham papel importante em diversas doenças. Path Analysis : diferentes genes podem tornar-se ativos em diferentes estágios de uma doença. Se sequências de atividades genéticas durante as diferentes etapas do desenvolvimento de uma doença podem ser identificadas, é possível desenvolver remédios que atuam em sequência nas diferentes etapas. Sequências de sintomas associados a determinadas doenças.
18 Sistemas Comerciais de Data Mining Nome Fabricante Funções Destaque Intelligent Miner IBM algoritmos para regras de associação, classificação, regressão, padrões sequenciais, clustering. SAS Institute algoritmos Inc. classificação, regressão, pacotes de análise estatística. MineSet Silicon Graphics Inc. algoritmos para regras de associação, classificação, análise estatística. Enterprise Miner Integrado com o SGBD DB2 da IBM. Grande escalabilidade dos algoritmos. Grande variedade de ferramentas estatísticas. Um robusto conjunto de ferramentas avançadas de visualização.
19 Sistemas Comerciais de Data Mining Nome Fabricante Funções Destaque Clementine Integral Solutions Ltd. DBMiner DBMiner Technology Inc. De- Genamics veloper Genamics Expression algoritmos de regras de indução, redes neurais, classificação e ferramentas de visualização. algoritmos de regras de associação, classificação, clustering. algoritmos de análise de sequências Interface orientadaobjeto. Data Mining utilizando OLAP Revolutionary new Windows application for DNA and protein sequence analysis.