Fischer kieltäytyi pelaamasta vuoden 1958 Münchenin olympialaisissa.
Kun hänen pyyntönsä pelata Samuel Reshevskin edelle hylättiin. Jotkut lähteet väittävät, että 15-vuotias Fischer ei pystynyt järjestämään lomaa lukiosta. Myöhemmin Fischer edusti Yhdysvaltoja neljässä miesten shakkiolympiadassa, voittaen kaksi yksilöllistä hopeamitallia ja yhden yksilöllisen pronssimitallia: