Graham vastusti vuonna 1857 lordi Palmerstonin aseveneiden diplomaattisuutta - kun se pommitti Kantonia, kun Kiinan viranomaiset olivat valloittaneet Lorchan.
Nuoli". Vaikka tämä päätös oli epäsuosittu, hänet palautettiin Carlislen vaaleissa. Peelien ryhmä oli kuitenkin kukistettu, eikä sitä enää ollut. Hän kilpaili Carlisle uudelleen vuonna 1859, jossa hänen veljenpoikansa kanssa heidän yhteinen vaali meni yleisen suuntauksen vastaisesti ja palautti kaksi liberaalia ehdokasta. Myöhemmin samana vuonna 280 samanhenkistä jäsentä, mukaan lukien Graham ja Lawson, kokoontuivat Willis's Roomsissa perustamaan liberaalipuolueen. Britannian politiikassa oli palannut kaksipuoluejärjestelmä.