Dopo l'invasione tedesca dell'Unione Sovietica nel 1941, a Rall furono assegnati importanti compiti nella difesa e nell'evacuazione delle forze sovietiche. Ha comandato la retroguardia durante l'evacuazione sovietica di Tallinn.
, durante il quale i convogli di evacuazione hanno subito pesanti perdite a causa delle mine. La nave ammiraglia di Rall fu affondata e lui subì gravi ferite. Dopo un mese di guarigione in ospedale, era abbastanza bene da riprendere il comando e aiutò a dirigere le difese navali durante l'assedio di Leningrado e le successive operazioni offensive mentre i tedeschi venivano respinti. Ricevette diversi premi per il suo servizio, Rall tornò alla vita accademica dopo la guerra e scrisse una serie di testi militari e storici prima della sua morte nel 1948.