Occamin partaveitsi
Occamin partaveitsi on saanut nimensä englantilaisen fransiskaaniveli ja filosofi Vilhelm Occamilaisen mukaan. Nimitys ”partaveitsi” viittaa ajatukseen siitä, että periaate leikkaa teoriasta pois ylimääräiset oletukset tai teorian olettamasta ontologiasta pois ylimääräiset entiteetit. Periaate kuvasi alun perin Vilhelmin nominalistisen ajattelun taipumusta minimalismiin. Nykyisin se ymmärretään usein nyrkkisääntönä, joka suosii taloudellisuutta ja yksinkertaisuutta erityisesti tieteellisissä teorioissa.
Occamin partaveitsi
Eräs alkuperäisen Occamin partaveitsen muotoilun ongelma on, että se soveltuu vain malleihin, jotka ovat selitysvoimaltaan yhtäsuuria (eli se suosii yksinkertaisempaa muuten yhtä hyvistä malleista). Partaveitsestä voidaan johtaa yleisempi muoto bayesilaisen mallivertailun avulla. Sitä voidaan käyttää sellaisten mallien vertailuun, jotka eivät sovi havaintoaineistoon samassa määrin. Tällöin on mahdollista muodostaa tasapaino mallin monimutkaisuuden ja selitysvoiman välillä. Erilaisia lähestymistapoja ovat muun muassa Akaiken informaatiokriteeri, Bayesin informaatiokriteeri, bayesilainen variaatio-oppiminen ja Laplacen approksimaatio.