Peter Selz Munich-en jaio zen, guraso juduak izanda. 1936an, 17 urterekin, Alemaniatik ihes egin zuen naziek, gurasoek Estatu Batuetara bidali nahi zutelako ikastera. Bere familiak Alemaniatik ihes egitea lortu zuen kristalezko gauaren aurretik.
Aita, optometrista, dohainik artatzen zuen. Urtebete eman zuen Columbiako Unibertsitatean eta Alfred Stieglitz-ekin urruneko ahaidea zela aurkitu zuen, bere mentorea bihurtu zena. Bigarren Mundu Gerran zerbitzatu ondoren, Chicagoko Unibertsitatean GI Bill-en A.M. bat jaso zuen 1949an. Hurrengo urteetan hainbat Fulbright bekak jaso zituen Parisko Unibertsitatean eta École du Louvre-n eta Musées Royaux d'Art et d'Histoire-n ikasteko; aldi berean, Selz Chicagoko Unibertsitatean irakasten ari zen eta Chicagoko Illinois Institute of Technology-ko Diseinu Institutuaren hezkuntza saileko presidentea ere izan zen. 1955ean Pomona College-ra joan zen arte saileko buru izateko eta eskolako arte galeriaren zuzendari izan zen.