Sillitoe jätti koulun 14-vuotiaana, kun hän epäonnistui peruskoulun pääsykokeessa. Hän työskenteli Raleigh'n tehtaalla seuraavat neljä vuotta ja vietti vapaa-aikansa lukemalla ja "rakastamalla paikallisia tyttöjä". Hän liittyi ilmavoimiin vuonna 1942, sitten Royal Air Forceen, vaikkakin liian myöhään palvellakseen toisessa maailmansodassa. Hän toimi langattomana operaattorina Malajassa hätätilan aikana.
- Mitä? Palattuaan Britanniaan hän suunnitteli värväytyvänsä Kanadan kuninkaallisiin ilmavoimiin, kun havaittiin, että hänellä oli tuberkuloosi. Hän vietti 16 kuukautta RAF:n sairaalassa.