스뮈츠는 1870년 5월 24일 케이프 식민지 보펀플라츠에 있는 한 농가에서 태어났다. 그의 가족은 네덜란드계가 주이고 프랑스계와 독일계가 약간 섞인 전형적인 아프리카너 가정을 이루고 있었고, 주위 사람들에게 존경을 받았다.

스뮈츠는 조용하고 여린 아이였으며, 혼자 있는 것을 매우 좋아했다. 어린 시절에 그는 종종 밖으로 혼자 나가서 근처 시골을 탐험하고는 했는데, 이것이 그의 자연에 대한 눈을 뜨게 했고, 평생 그에게 자연을 사랑하는 마음을 가지게 하였다. 그의 자연을 사랑하는 마음을 보여주는 일화로서, 많은 세월이 지나 미국의 한 식물학자로부터 어떻게 장군이 풀에 관해서 그렇게 해박하냐는 질문을 받았을 때 스뮈츠는 "이거 보세요 부인, 나는 여가에만 장군 노릇을 한답니다"라고 대답했다. 그는 둘째 아들이었는데, 관습에 의해서 그는 농장에 남아서 일을 해야 했고 형이 교육을 받아야 했다. 하지만 1882년, 그가 12살때 그의 형이 죽었고 그는 그의 형 대신 학교에 다니게 되었다. 그는 리벡 베스트 근교에 있는 학교에 다니기 시작했고, 거기서 그는 우수한 성적을 보였다. 늦은 시작에도 불구하고, 그는 4년만에 뒤쳐진 공부를 따라잡는데 성공했으며 그는 16살이 되던 1886년에 후일 스텔렌보스 대학이 되는 빅토리아 칼리지에 입학하게 된다.

빅토리아 칼리지에서 그는 네덜란드어, 독일어, 고대 그리스어를 배웠고, 문학과 성경 공부에 깊이 몰두하였다. 당시, 그는 그의 동급생으로부터 고립되어 있었다. 하지만 그는 1891년 과학과 예술을 전공하여 두 과목 모두 일급으로 졸업하는 눈에 띄는 성과를 내었고, 그곳에서 이지 크리헤와 만나 나중에 결혼하게 되었다.

빅토리아 칼리지를 졸업하며 그는 에브덴 장학금을 수여받았다. 그 장학금으로 그는 케임브리지 대학교에 유학하기로 하였는데, 그곳에서 그는 케임브리지에서 공부하는 것이 힘들다는 것을 알았다. 먼저 금전적인 문제로는 장학금이 케임브리지의 학비를 내는데는 턱없이 모자랐으며 영국인 학우들과의 관계도 소원했기 때문이다. 그는 이러한 고충을 같은 빅토리아 칼리지를 졸업한 마리즈 교수에게 토로했는데, 그러자 그는 스뮈츠에게 학비로 쓸 수표를 빌려주어 학비 문제를 해결하게 하였으며 학우들 사이의 관계도 차차 가까워졌으나 여전히 스뮈츠는 자기 혼자 공부하는것을 즐겼다.

케임브리지에서 공부하는 동안 그는 법률에 관해 공부하였고, 철학적인 관심도 보였으며, 휘트만을 존경하여 1973년까지는 출판되지 않았던 "휘트만: 성격 발전에 관한 연구"라는 책을 저술했는데, 그 책에서 그의 철학적인 면모를 보이기도 했다.

스뮈츠는 1893년 케임브리지를 공동 수석으로 졸업하였다. 2년간 그는 여러 학술적 분야에서 두각을 드러냈다. 그의 스승인 프레드릭 윌리엄 매잇랜드는 그를 그가 만난 학생 중 가장 총명한 학생이라고 평하였고, 케임브리지의 크리스트스 칼리지의 학장은 그를 500년동안의 케임브리지 역사 중에서 존 밀턴, 찰스 다윈과 함께 위대한 인물로 꼽았다.

1895년 그는 케이프 식민지로 귀환하여 거기서 그의 미래를 펼치기로 하였다. 그는 세실 로즈를 지지했는데, 세실 로즈의 친구인 제임슨이 독립 보어인 국가인 트란스발을 기습공격시도한 것을 알고는 세실 로즈에 대하여 실망하고, 세실 로즈에 대한 지지를 철회하였다.
스뮈츠에게 학비를 지원해 준 사람은?
마리즈 교수