Whitaker joutui riitaan shakkijohtajien kanssa 1930-luvun alussa. Hän uskoi, että hänen olisi pitänyt tulla valituksi amerikkalaiseen joukkueeseen kolmannelle shakkiolympiadille, Hamburg 1930 (siihen sijaan, että Harold Meyer Phillips (0,5/2 Hamburgissa) tai James Allan Anderson (6/17)), tai neljännelle shakkiolympiadille
Praha, vuonna 1931. Aiempien kilpailujen tulosten ja Phillipsin ja Andersonin heikkojen esitystilaisuuksien perusteella amerikkalaiselle joukkueelle, joka muuten pärjäsi hyvin (kuudes paikka) Hampurissa, Whitakerilla saattoi olla kohtuullinen tapaus. On kuitenkin todennäköistä, että hänen rikollisen menneisyytensä (ks. alla) vaikutti myös päätökseen. Hän meni niin pitkälle, että otti suoraan yhteyttä FIDE: n presidentille Alexander Ruebille ja ehdotti, että kaksi amerikkalaista liitännäisjärjestöä sallitaan FIDE: n jäseniksi, sallien kaksi amerikkalaista joukkuetta, kun taas muilla kansoilla oli vain yksi, mutta hänen argumenttinsa hylättiin. Tämä yksilön lähestyminen FIDE:n presidentille kansallisjoukkueen valintakysymyksessä tuskin voitti Whitakerille ystäviä. Vaikka kysymykset siitä, ketkä pelaajat olivat parhaiten päteviä pelaamaan joukkueessa, olivat näennäisesti merkityksettömiä, amerikkalaiset shakkijohtajat järjestivät mestareiden välisen karsintakilpailun valitakseen kansallisen joukkueen vuoden 1933 olympialaisiin. Tuohon aikaan Whitakeria syytettiin vakavista rikoksista (katso alla); häntä ei koskaan valittu tuleviin joukkueisiin. Amerikkalaiset joukkueet ilman Whitakeria saivat olympiakisojen joukkueen kultamitalin vuosina 1931, 1933, 1935 ja 1937, sekä monia yksilöllisiä mitaleja. Vuoteen 1939 mennessä Länsi-Sakkisoliitto ja Kansallinen Sakkisoliitto olivat sulautuneet Yhdysvaltojen Sakkisoliittoon.