RCAAP - Extrair conhecimento de bases de dados: o caso dos provérbios.
Author(s): Mendes, Armando B. ; Funk, Matthias ; Funk, Gabriela
Persistent ID: http://hdl.handle.net/10400.3/2155
Subject(s): Árvores de Regressão; Geração de Conhecimento; Provérbios; Preparação de Dados e Pré-Processamento; Data Mining; Knowledge Generation; Proverbs; Data Preparation and Pre-Processing; Regression Trees
Para apoiar actividades de gestão de dados de um projecto para identificação de provérbios, tem vindo a ser construída uma base de dados ao longo de vários anos. No momento da presente análise, esta base de dados integrava informação sobre 25.000 expressões idiomáticas, incluindo mais de um milhar de respostas válidas a inquéritos de reconhecimento de provérbios. Neste artigo, descreve-se um projecto em curso com o objectivo de extrair conhecimento desta base de dados, de modo a conhecer melhor os inquiridos, o seu grau de reconhecimento de provérbios e a relação com os locais onde têm vivido. De modo a alcançar os objectivos delineados, propõe-se a utilização de metodologias de prospecção de dados (data mining), com passos como: preparação e pré-processamento, limpeza (data cleansing) e técnicas de redução de dados. A fase de preparação é cuidadosamente trabalhada, uma vez que nem sempre é descrita em estudos de prospecção de dados, apesar de constituir um passo fundamental na análise de dados provenientes de bases de dados. Para a descoberta de conhecimento, após a produção de uma tabela de dados desnormalizada, utilizam-se modelos de regressão linear múltipla e árvores de regressão segundo dois algoritmos distintos. Os resultados são comparados com o conhecimento de domínio paremiológico, com algumas conclusões inesperadas.
ABSTRACT: For data management activities in a project for proverbial sentences identification, a data base has being assembled during several years. This data base collects, in the moment of this study, information about 25.000 idiomatic sentences, including more than one thousand valid answers for proverbial sentences recognition surveys. In this article a project is described with the purpose to extract knowledge from this data base, in order to better characterize the individuals participating in the surveys about their level of proverbial recognition and the influence of the locations they have been living. In order to reach the study objectives we use data mining methodologies including: data preparation and preprocessing, data cleansing, and data reduction techniques. This data preparation stage is carefully described because we believe this is sometimes forgotten in statistical data mining studies and is a fundamental step to attain any data mining study objective. For data analysis, after a denormalized file is produced, we use linear regression models and regression trees with two different algorithms. The descriptive results are compared with paremiology domain knowledge, with some unexpected conclusions.
Publicado também com o título "Extrair Conhecimento de Provérbios" em: Salgueiro, Maria de Fátima; Mendes, Diana A. e Martins, Luis F. (Eds.), «Temas e Métodos Quantitativos», vol. 6, Sílabo: Lisboa: 91-110, 2009. ISBN: 978-972-618-540-6.