예술가와 지식인을 존중하는 집안 분위기에서 성장한 비트겐슈타인의 아버지와 어머니는 둘다 고등교육을 받았고 음악 같은 예술을 사랑하였다. 제철 사업가로서뿐만 아니 예술 애호자로서도 유명했던 카를 비트겐슈타인은 오귀스트 로댕, 구스타프 클림트 같은 예술가를 후원하였고 빈 분리파 전시관을 설립하려는 재정을 책임졌다. 
 
비트겐슈타인의 집에는 요하네스 브람스, 리하르트 슈트라우스, 구스타프 말러 같은 예술가가 늘 초대되었다. 요하네스 브람스는 비트겐슈타인보다 두 살 위의 누나에게 피아노를 가르쳤고 요하네스 브람스의 주요한 작품 가운데 몇몇을 비트겐슈타인 집의 음악실에서 초연하였다. 비트겐슈타인의 형 파울 비트겐슈타인은 후일 세계적으로 유명한 피아니스트가 되었다. 파울은 제1차 세계대전 참전 중 오른팔을 잃고 러시아에서 포로수용소에 갇혀서도 왼손만으로 피아노를 연습하여 명성을 유지하였다. 비트겐슈타인도 절대음감이 있었고 , 음악을 향한 열정은 비트겐슈타인의 생활과 사상에 큰 영향을 주었다. 비트겐슈타인은 자신의 철학 저작에서도 음악에 빗댄 예를 자주 사용하였고 클라리넷을 능숙하게 연주하여 오케스트라와 협연하기도 하였다. 루트비히 요제프 요한 비트겐슈타인은 교향곡 전체를 외워 휘파람으로 불렀다. 

비트겐슈타인의 가족은 우울증에 따른 자살 경향을 보였다. 장남인 한스는 네 살 때 작곡할 정도로 신동이었으나 1902년 쿠바의 아바나에서 자살했다. 뒤를 이어 삼남 루돌프가 1904년 베를린에서 자살하였고 차남 쿠르트는 제1차 세계대전이 끝나 가던 1918년 10월 오스트리아군의 총 퇴각이 결정되자 자신이 지휘하던 진중에서 총을 이용해 자살하였다. 루트비히도 청년 시절 줄곧 자살 충동에 시달렸고, 러셀로부터 천재로 인정받은 후에야 마음의 안정을 찾을 수 있었다. 

최근 내 상황은 완전히 비참함 자체입니다. 나는 생명을 끊는 것을 계속 생각해 왔습니다. 지금도 이 생각은 여전히 나를 괴롭힙니다. 나는 내려갈 수 있는 가장 마지막 지점까지 가라앉았습니다. 당신은 절대로 이 지점까지 오지 않기를! |파울 엥겔만에게 보낸 편지, 1920.5.30.

1903년까지 비트겐슈타인은 집에서 가정교육을 받은 후 린츠에 있는 린츠 국립실업고등학교에 3학년으로 편입하였다. 비트겐슈타인보다 6개월 생일이 빠른 아돌프 히틀러가 1년간 비트겐슈타인과 같은 학교에 다녔다. 아돌프 히틀러와 비트겐슈타인이 서로 알던 사이였는지는 알려진 바가 없으나 양측 모두 이와 관련하여 어떠한 회고도 없는 것으로 보아 일면식도 없는 사이였으리라 추정된다.

학교 생활 동안 비트겐슈타인은 높은 톤의 어투에 약간 말더듬이가 있었고 우아한 옷을 입은 민감하고 겉으로 드러내지 않고 심중으로만 생각하는 학생이었다. 동급생 거의 대부분이 비트겐슈타인의 이런 점을 특징으로 꼽았다. 비트겐슈타인은 "선생", "헤어 루트비히"(Herr Ludwig루트비히 씨 )와 같은 별명으로 불렸다. 

비트겐슈타인은 1905년 하늘을 나는 문제를 해결한 영웅과 천재들의 이야기가 들어 있는 루트비히 볼츠만의 선집 을 읽고 볼츠만에게서 물리학을 배우려고 했으나 볼츠만은 1906년 생을 자살로 마감하였다. 

1906년 베를린에서 기계공학을 배우기 시작한 비트겐슈타인은 갈릴레오, 레오나르도 다 빈치, 파우스토 베란치오 같은 사람들이 남긴 르네상스 시기 작업에 흥미를 느꼈다. 1908년 맨체스터 빅토리아 대학교에서 항공과 관련한 논문으로 공학 박사 학위를 받은 비트겐슈타인은 공학 연구소의 연구생으로 등록되어 대기권 상층에 연을 띄우는 연구하였고 작은 제트 엔진에 사용될 프로펠러를 제작하였다 맨체스터에서 연구 생활하는 동안 버트런드 러셀과 앨프리드 노스 화이트헤드가 공저한 《수학 원리》 , 고틀로프 프레게의 《산수의 근본 법칙》를 읽고 수학기초론에 흥미를 느꼈다. 1911년 여름 비트겐슈타인은 프레게를 방문한 후부터 연락을 자주 교환했고 케임브리지 대학교의 버트런드 러셀에게서 배우기로 하였다
비트겐슈타인의 누나의 피아노 선생님은 누구인가?
요하네스 브람스