Nel 1849, Rutherfurd abbandonò i suoi studi di legge per dedicare il suo tempo libero alla scienza, in particolare all'astronomia. Eseguì un lavoro pionieristico nell'analisi spettrale e sperimentò con la fotografia celeste. Inventò strumenti per i suoi studi, tra cui il micrometro per misurare le fotografie, una macchina per produrre migliorati gradi di diffrazione regolati e il primo telescopio progettato specificamente per l'astrofotografia. Utilizzando i suoi strumenti, Rutherfurd produsse una collezione di qualità di fotografie del Sole, della Luna e dei pianeti, nonché di ammassi stellari e stelle fino alla quinta magnitudine. Nel 1862, iniziò a fare studi spettroscopici usando la sua nuova diffrazione.
fotografia celeste