Virginian departementti perustettiin 22. toukokuuta 1861. Sen piiriin kuului kaikki alueet Fort Monroen 60 mailin säteellä ja kaikki Pohjois- ja Etelä-Carolinan alueet, jotka olivat Unionin armeijan miehittämissä. Kenraalimajuri Benjamin F. Butler nimitettiin sen ensimmäiseksi komentajaksi. Kenraali Butlerin johdolla tämän osaston joukot aloittivat varhaiset taistelut Big Bethelin ja Hatteras Inlentin taisteluissa.
- Mitä? Alussa se tunnettiin myös nimellä Kaakkois-Virginia.