Nel 2002 interpreta un attuario pensionato di Omaha, Nebraska, che si interroga sulla propria vita dopo la morte di sua moglie. La sua interpretazione tranquilla e contenuta gli vale una nomination all'Oscar come miglior attore. Nel 2003 interpreta un terapeuta aggressivo incaricato di aiutare un uomo pacifista (Adam Sandler). Nel 2003 recita anche in Something's Give Gotta, come un playboy invecchiato che si innamora della madre (Diane Keaton) della sua giovane fidanzata. Alla fine del 2006, Nicholson ha segnato il suo ritorno al lato oscuro come Frank Cost, un nefando capo della mafia irlandese di Boston, basato su Whitey Bulger che era ancora in fuga all'epoca, presiedendo Matt Damon e Leonardo DiCaprio nel film vincitore dell'Oscar Martin Scorsese The Departed, un remake del ruolo di Andrew Laufer in Infernal Affairs: What About Schmidt?
Il 2002