Projekto një eksperiment për të testuar aftësinë e modeleve GPT për të kuptuar gjuhën natyrore.
Eksperimenti duhet të përfshijë dhënien e modeleve GPT një sërë detyrash të gjuhës natyrore dhe vlerësimin e performancës së tyre. Këto detyra mund të përfshijnë klasifikimin, gjenerimin e hapur, kuptimin dhe redaktimin. Detyrat duhet të përfshijnë një përzierje të pyetjeve me përgjigje të shkurtra dhe në stilin e eseve me nivele të ndryshme kompleksiteti. Shembujt e detyrave të mundshme mund të përfshijnë: përkthimin e një fjali, rishkrimin e një fjali për ta bërë atë të saktë gramatikisht, gjenerimin e një përshkrimi për një foto ose përgjigjen e një pyetjeje me zgjedhje të shumëfishtë për një pasazh të caktuar. Detyrat duhet të jenë të dizajnuara në mënyrë që prodhimi i modeleve GPT të jetë lehtësisht i përcaktueshëm. Vlerësimi duhet të marrë parasysh gjithashtu aspekte të tjera si rrjedhshmëria, lexueshmëria dhe saktësia gramatike.