En roblando un contratu colos estudios MGM, Rafferty debutó nel cine en 1942. De normal fixo papeles menores y de repartu y, anque tuvo un bon personaxe nel filme de 1944 Dragon Seed, interpretáu por Katharine Hepburn y Walter Huston, los sos primeros papeles llindáronse cuasi puramente al cine de serie B. Otra cinta de cierta popularidá na quactuó foi Abbott and Costello in Hollywood (1945).