12세기 말 팔레스타인의 아크레에서 처음 결성되었다. 이후 (성전기사단, 성 요한 기사단 등)과 함께 십자군 국가에서 중요한 역할을 담당하였고 십자군의 중요한 항구 거점인 아크레를 방위했다. 기독교 세력이 중동에서 축출당했을 때 독일 기사단은 헤르만 폰 잘차의 지도하에 1211년 트란실바니아로 옮겨왔고 쿠만인에 대항해 헝가리 왕국을 방어하는 데 일조하였다. 그러나 1225년에 교황의 힘을 입어 헝가리 왕을 축출하려다 추방당했다.

이후 마조비아의 콘라드 1세로부터 프로이센 지역을 정복해 달라는 요청을 받고 북쪽으로 옮겨가 이주해오는 기독교인들을 규합하여 이교도 프로이센 정복에 나섰다. 1233년부터 약 50년간 원주민들을 거의 몰살한 뒤 강력한 지배권을 확립했다.

기사단은 점령한 영토를 교회에 봉헌하고 곳곳에 성채를 세워 군사적·경제적 중심지로 만들었다. 독일 중부 지방에서 농민들을 이주시켜 이 지역에서 살게 했으며 폴란드와 독일의 귀족들을 가신으로 끌어들여 지배력을 다졌다. 특히 교황청에서 기사들이 이윤을 추구할 수 있도록 허락하자 기사단은 이 지역의 무역을 독점하여 더욱 강력해졌다.

독일 기사단은 1237년, 리보니아의 그리스도 기사 수도회를 흡수하고 프로이센에서 에스토니아에 이르는 지역을 지배했다. 이후 동방 정교회 지역을 로마 가톨릭교회로 개종시키려고 시도하였으나 1242년에 노브고로드의 알렉산드르 네프스키에게 패배하여 좌절되었다.

1291년 예루살렘 왕국이 아크레에서 멸망하자 독일 기사단은 이교를 신봉하는 리투아니아에 대한 원정에 나섰다. 그러나 기사단은 리투아니아를 완전히 복속하지는 못하였다. 기사단장 빈리히 폰 크니프로드 시절(1351년 - 1382년) 독일 기사단은 그 최대 판도를 맞는데 그 영토가 발트 해 연안의 쿠를란트, 리보니아, 에스토니아와 폴란드 단치히 지역, 동포메른 및 독일의 중남부지역, 리투아니아의 사모기티아 등에 이르렀다.

 14세기에 들어와서 기사단은 리투아니아와 폴란드 연합군의 위협을 받았다. 리투아니아 대공국의 요가일라 대공(Władysław II Jagiełło)은 독일기사단 때문에 발트 해로 진출하지 못하던 폴란드와 동맹을 맺고 로마 가톨릭교회를 받아들이는 한편, 폴란드 여왕과 결혼했다. 폴란드-리투아니아 연합군은 1410년 7월 15일 그룬발트 전투에서 독일 기사단을 대패시켰다. 이 전투 이후 기사단은 사모기티아 북서부를 빼앗기고 점차 세력을 상실했다.

16세기에 들어서는 38대 기사단장 알브레히트 폰 프로이센(1490-1568. 알브레히트 1세로서는 1525-1568) 아래 독일 기사단은 폴란드와의 전투에서 패배했다. 이후 알브레히트 폰 프로이센은 마틴 루터와 만난 뒤 감명을 받아 루터교로 개종했고 프로이센에서 독일 기사단을 축출한 뒤 독일 기사단의 옛 영토에 프로이센 공국을 세웠다.

한편 축출된 독일 기사단은 30년 전쟁(1618~1648)으로 더욱 영향력을 잃고 결국 폴란드 점령지역 거의 대부분도 잃었다. 이 때부터 폴란드인도 기사단으로 받아들여야 했으며 독립적 지위를 잃고 폴란드 왕의 봉신이 되었다. 이후에도 독일인 가톨릭교도에 의해 유지되던 기사단령이 남아 있었지만 1808년 나폴레옹 보나파르트에 의해 완전히 해체되었다.

나폴레옹 이후 오스트리아 제국은 1834년 기사단을 부활시켰고 1929년에는 완전히 정신적인 명예 가톨릭 단체로 변신했다. 현재도 기사단원은 명예직으로 남아 있으며 빈에 본부를 두고 있다.

기사단의 문장은 하얀 바탕에 검은 십자가 모양이다. 이는 나중에 독일 제국과 나치 독일에서 군사적 상징으로 차용하였는데, 특히 나치는 독일 민족주의의 선전 소재로 기사단을 이용하였다.
리보니아에서 그리스도 기사 수도회가 창설된 년도는?
1237