A estatística tem uma sólida fundamentação teórica, mas os resultados da estatística podem ser grandes demais e difíceis de interpretar, pois necessitam do usuário para verificar onde e como analisar os dados. A mineração de dados, entretanto, permite que o conhecimento do especialista sobre os dados e técnicas de análise avançadas do computador trabalhem de maneira conjunta.
Sistemas de análise estatística tais como SAS e SPSS têm sido utilizados por analistas para a detecção de padrões incomuns e explicação de padrões utilizando modelos estatísticos tais como modelos lineares. A análise estatística tem um campo enorme de utilização e a mineração de dados não irá substituir tais análises, e sim utilizar análises mais diretas baseadas nos resultados da mineração de dados. Por exemplo, a técnica de indução estatística é algo como a taxa média de falha nas máquinas.
Aprendizagem de máquinas é a automação de um processo de aprendizagem; e a aprendizagem é equivalente à construção de regras baseadas em observações de estados e transições ambientais. Este é um enorme campo que inclui não somente a aprendizagem através de exemplos, mas também aprendizagem reforçada, aprendizagem com professor, etc. Um algoritmo de aprendizagem utiliza o conjunto de dados e a informação que o acompanha como entrada e retorna uma declaração - ou seja, um conceito representando os resultados da aprendizagem como saída. A aprendizagem de máquinas examina os exemplos anteriores e suas saídas e aprende a como reproduzi-los e faz generalizações sobre novos casos.
Geralmente um sistema de aprendizagem de máquinas não utiliza simples observações de seu ambiente, mas sim todo um conjunto finito chamado de conjunto de treinamento de uma única vez. Este conjunto contem exemplos, tais como observações codificadas em alguma forma legível pela máquina. O conjunto de treinamento é finito, logo nem todos os conceitos podem ser aprendidos exatamente.
Knowledge Discovery in Databases (KDD), ou mineração de dados, é a parte da Aprendizagem de Máquinas (Machine Learning - ML) responsável pelo manejamento da aprendizagem através de exemplos através de algoritmos e problemas utilizados.
KDD é direcionado na procura de conhecimento compreensível, enquanto que a ML é direcionada à otimização do desempenho de um agente. Logo, o treinamento de uma rede neural para o balanceamento de uma balança é parte da ML, mas não de KDD. Entretanto, existem casos em que a extração de conhecimento através de redes neurais são muito relevantes para KDD.
KDD é concentrado em enormes bancos de dados reais, enquanto que ML é tipicamente (mas não sempre) concentrada em conjuntos de dados menores. Assim, as questões de desempenho são muito mais importantes para KDD.