출신지는 평안북도 운산군이며 본적지인 충청남도 대전이다. 1931년에 일본 히로시마 고등사범학교를 졸업했다.

졸업 후 교사로 잠시 재직하다가 곧 충청남도 내무부 학무과에 발탁되어 교육행정 관료로 약 10년 동안 근무했다. 이후 조선총독부 군수로 승진하여 충청남도 당진군과 예산군에서 군수를 지냈다.

대한민국의 교육계에서도 활발히 활동했다. 대전사범학교 교장을 거쳐 한밭대학교의 전신인 대전공업학교 교장을 역임하였고, 1950년에는 서울대학교 사범대학 부설고등학교 교장이 되었다. 1956년에 서울특별시 교육위원회가 개설되었을 때 초대 교육감에 선출되었다. 

교육감으로 재직하면서 제1공화국 정권과 밀착하여 정실인사를 했다는 주장도 있다. 이때문에 4·19 혁명이 성공한 뒤 교육감직에서 물러났고, 김영훈이 발령을 낸 서울의 국민학교 교사들이 대거 발령 취소되는 사건이 있었다. 

일제 강점기에 충청남도 시학과 군수를 지낸 경력으로 인해 2008년 공개된 민족문제연구소의 친일인명사전 수록예정자 명단 중 관료 부문에 포함되었다.
4·19 혁명이 성공한 이후, 김영훈이 사직한 직분은?
교육감직