Baugh nació nuna granxa de Temple, Texas, y foi'l segundu fíu de James, quien trabayó pal Santa Fe Railroad, y Lucy Baugh. Los sos padres divorciáronse más tarde y la so madre crio a los trés neños. Cuando cumplió 16 años d'edá, la familia camudar a Sweetwater, Texas y asistió a la escuela Sweetwater High School. Como quarterback del so equipu de preparatoria, practicaba per delles hores diaries llanzando'l balón (de cutiu corriendo) faía un neumáticu d'automóvil que colgaba d'una cuerda. Pero aparentemente, Baugh prauticó más los estenes que llanzar el balón.