Kaye siguió como actor semi-regular de La Peada hasta 1940, dómina na que la serie fuera vendida por Hal Roach a Metro-Goldwyn-Mayer. Fixo papeles menores n'otros filmes, ente ellos el musical Best Foot Forward, con Lucille Ball, y Kansas City Kitty, interpretando en dambos a "Killer".