Enquanto isto, João VIII, ameaçado pelos sarracenos, insistia com Carlos para este vir em sua defesa, na Itália. Carlos novamente cruzou os Alpes, mas esta expedição foi recebida com pouco entusiasmo pelos nobres, e até mesmo pelo seu regente na Lombardia, Bosão, e desta forma recusaram-se a participar no seu exército. Ao mesmo tempo, Carlomano, filho de Luís, o Germânico, entrou pelo norte de Itália. Carlos, doente e em grande aflição, começou o seu caminho de volta para a Gália, mas morreu ao atravessar a passagem de Mont Cenis em Brides-les-Bains, em 6 de outubro de 877.
De acordo com os Annales Bertiniani, Carlos foi apressadamente enterrado na Abadia de Nantua, Borgonha, porque os portadores não foram capazes de suportar o mau cheiro do seu corpo em decomposição. Ele deveria ter sido enterrado na Basílica de Saint-Denis e pode ter sido transferido para lá mais tarde. Foi registado que houve um memorial de bronze aí que foi derretido na Revolução Francesa.