Durante l'invasione tedesca dell'Unione Sovietica nel 1941, Rall fu nominato comandante della posizione difensiva orientale il 25 giugno e supervisionò l'installazione di batterie costiere sulle isole di Bolshoy Tyuters e Lavensaari e la posa di campi minati nel Golfo di Finlandia. Fu poi incaricato di prendere parte alla complicata operazione per evacuare le navi della Flotta del Baltico dall'assediata Tallinn
e portarli a Kronstadt. A Rall fu dato il comando della retroguardia. Con tre possibili vie di evacuazione, Rall consigliò di prendere quella più a sud. Sebbene questo passasse attraverso acque poco profonde e lungo 200 miglia di costa occupata con batterie costiere nemiche, Rall ha sottolineato che le batterie costiere erano costituite principalmente da cannoni leggeri da campo, che potevano essere facilmente soppressi dall'artiglieria navale sovietica, e che 200 navi avevano fatto il passaggio senza difficoltà. Il consiglio fu respinto dal maresciallo Kliment Voroshilov, comandante del fronte di Leningrado, che, preoccupato per la possibilità che equipaggi lettoni ed estoni, e persino marinai sovietici, disertassero verso il nemico, ordinò a Rall e al suo superiore ammiraglio Vladimir Tributs di prendere la rotta di mezzo, nonostante fosse stata pesantemente minata dalle forze nemiche. I convogli di evacuazione cominciarono presto a subire pesanti perdite a causa delle mine e degli attacchi aerei. La nave ammiraglia di Rall, il cacciatorpediniere "Kalinin", colpì una mina e cominciò a affondare. Il cacciatorpediniere "Volodarskiy" si avvicinò per far decollare l'equipaggio, ma colpì anche una mina e affondò. Rall, ferito e con una commozione cerebrale, fu portato a bordo di un cutter. Alla fine fu riportato a Kronstadt con i sopravvissuti della forza di evacuazione. Mentre la leadership sovietica rivendicò una vittoria nell'evacuazione di un certo numero di truppe e rifugiati, Rall osservò che era stata una "Seconda Tsushima", riferendosi alla pesante sconfitta nella battaglia di Tsushima durante la guerra russo-giapponese.