학생으로서 하이네만은 바이마르 공화국을 강하게 후원한 자유적 독일 민주당의 학생 기구에 소속되었다. 1920년 뮌헨에서 히틀러의 연설을 듣고 히틀러의 유대인에 대항하는 비난의 연설을 방해한 후 교실을 떠나야 했다.

1930년 하이네만은 기독교 사회 국민 봉사 단체에 가입하였으나 1933년에서 사회민주당을 뽑았다.

제2차 세계대전 후, 영국의 권위자들이 하이네만을 에센의 시장으로 임명하여 1946년에 선출되었다. 그는 노르트라인베스트팔렌주의 기독교 민주연합 창설자들 중의 하나였다. 노르트라인베스트팔렌 주의회 의원(1947~50)으로 있다가, 주정부의 기독교 민주연합 총리 카를 아르놀트 정부의 법무장관(1947~48)을 지냈다.

콘라트 아데나워가 신생 독일 연방 공화국의 첫 총리가 되었을 때, 정부의 기독교 민주연합에 개신교 대표들을 원하였다. 하이네만은 아데나워 내각의 내무장관이 되는 것을 동의하였다. 1년 후에 서유럽 군사에 독일의 참석을 비밀적으로 마련한 것이 알려지자 하이네만은 정부에서 사임하였다. 그는 연방 공화국에서 여러가지 군대의 정렬이 통일의 기회를 줄이고 전애의 위험을 늘인다는 것을 확신시켰다.

하이네만은 기독교 민주연합을 떠나 1952년 자신의 정당 모든 독일인의 당(GVP)를 설립하였다. 당원들은 재통일에 목표를 두어 독일을 동서진영에서 중립국으로 놓으면서 소비에트 연방과 협상을 주창하였다. 따라서 하이네만은 자신의 당을 해산하였고 사회민주당에 입당하였다. 그는 사회적 마음을 지닌 개신교도들과 국가의 산업 구역들에 사는 중산 국민들을 위해 사민당이 "국민의 정당"을 여는 데 도움을 주었다.

1950년 10월 다시 변호사 생활로 돌아갔다. 법정에서 우세하게 정치적, 종교적 소수들을 대표하였고, 또한 동독에 있는 포로들의 석방을 위해 일하기도 하였다.

사회민주당의 하원으로서 하이네만은 서독의 육군을 위해 원자무기 취득에 관한 아데나워의 계획에 대항하였다. 쿠르트 게오르크 키징거 총리(기민련)과 외무장관 빌리 브란트(사민당)의 합동 정부에서 법무장관(1966~69)이 되었다. 그는 특히 형법에서 자유개혁의 수를 일으켰다.
하이네만이 두 번째로 법무장관에 취임한 것은 몇 년인가?
1966