Toukokuun lopussa 2004 Lieberman julkisti Lieberman-suunnitelman, jossa ehdotettiin, että Israelin juutalaisten ja arabien väestöt ja alueet, mukaan lukien jotkut Israelin arabit, "erotettaisiin". Suunnitelman mukaan, joka tunnetaan myös nimellä "Asukkaiden ja alueiden vaihto-suunnitelma", Palestiinalaishallinnon alueiden vieressä olevat arabikaupungit Israelissa siirretään Palestiinalaishallinnolle, ja vain ne arabiisraelilaiset, jotka muuttivat alueelta Israelin uusiin rajoihin ja vannoivat uskollisuutta Israelille, saisivat jäädä Israelin kansalaisiksi. Pääministeri Ariel Sharon tuomitsi 30. toukokuuta 2004 Liebermanin lausunnot ja totesi: "Me pidämme israelilaisia arabeja osana Israelin valtiota". Kesäkuun 4. päivänä 2004, kun erimielisyydet tulevan purkamissuunnitelman
Sharon erotti Liebermanin hallituksesta.