Rutherford aloitti ensimmäisen Indianapolis 500 -kilpailunsa vuonna 1963.
Seuraavana vuonna hän oli suoraan Eddie Sachsin takana, kun Sachs ajoi Dave MacDonaldin palavaan autoon tappaen molemmat kuljettajat. Rutherford painoi ihmeellisesti törmäyksen ja seinän välissä ja ohitti Sachsin auton niin läheltä, että Rutherfordin konehuoneesta löydettiin sitruuna, jonka Sachs oli pitänyt kaulaansa sidottuna.