Harvey pelasi ensimmäisen kerran Fitzroyn joukkueessa 1938-39. Mick avasi lyönnin Mervin kanssa, ja vuonna 1942/43, kun Neil murtautui ensimmäiseen XI:ään, perhe oli ensimmäisten neljän lyöntiaseman joukkueessa; Merv ja Mick avasivat ja Ray ja Neil tulivat heidän peräänsä. Toisen maailmansodan aikana Harvey värväytyi toiseen Australian keisarillisiin joukkoihin Fitzroyssä 4. maaliskuuta 1943 ja oli 39. jalkaväkipataljoonan jäsen ja palveli kokoda
- Mitä? Hänet vapautettiin 29. maaliskuuta 1946 sotilaskunnan virkaan. Hän jatkoi krikettiä Fitzroyn kanssa sodan lopussa ja teki tarpeeksi juoksuja, jotta hänet valittiin Victorian ensimmäisiin kolmeen Sheffield Shield -otteluun kaudella 1948-49. Hän pelasi avajaispelaajana ja teki 10 ja 13 debyyttinsä Queenslandia vastaan, ja hän jäi kiinni jalka ennen wicketia (lbw) molemmissa kierroksissa kahdeksan wicketin voitossa. Seuraavassa ottelussa New South Walesia vastaan, joka ylpeili Australian uusista avaajista Ray Lindwallista ja Keith Milleristä, Harvey teki 19 ja 33 tasapeliä. Seuraavana otteluna Etelä-Australian vastaan hän teki 4 ja 12, taas jäädessään kiinni lbw: ssä molemmissa erissä. Vuoden 1948-1949 kausi oli puhtaasti kotimainen, eikä Test-joukkue matkustanut, joten kaikki Australian kansainväliset edustajat olivat käytettävissä koko kauden ajan. Hän teki vain 91 juoksua lyöntiarvon ollessa 15,16, joten Harvey jätettiin joukkueesta. Hän ei pelannut Rayn ja Mervin rinnalla. Se oli Harveyn viimeinen kausi Fitzroylle, ja 90 ensimmäisen luokan ottelussa hän teki 2 601 juoksua keskimäärin 30,24:llä.