Рафер Льюис Джонсон Техас штатындағы Хилсборола тыуа. Раферға биш йыл булғанда, уларҙың ғаиләһе Калифорния штатының Кингсбург ҡалаһына күсә. Билдәле бер ваҡытҡа тиклем, улар был ҡалалағы берҙән-бер ҡара тәнле кешеләре була. Универсал спортсы булараҡ, Рафер Кингсбургтың өлкән мәктәптәрендә футбол, бейсбол һәм баскетбол командаларында уйнай. Шулай уҡ уны бер нисә тапҡыр кластың президент итеп һайлайҙар. Кингсбургтан 40 саҡрым алыҫлыҡта урынлашҡан Тулар ҡалаһында йәшәүсе Мэтиас олимпияһының ике тапҡыр чемпионы Роберттың өлгөһө менән рухланып, Рафер 16 йәштән ун алыш менән мауыға. Шул мәлдә ул үҙенең тренерына: «Мин был егеттәрҙең күбеһен еңә алам»xa0— тип әйтә.