Nel 1824 si candidò alla presidenza e perse, ma gettò i suoi voti elettorali a John Quincy Adams, che lo nominò segretario di stato mentre i Jacksoniani denunciavano ciò che consideravano un "affare corrotto".