En 1824, il se présente à la présidence et perd, mais donne ses votes électoraux à John Quincy Adams, qui le nomme secrétaire d'État alors que les Jacksoniens dénoncent ce qu'ils considèrent comme une " affaire corrompue ".