숙종 때 의정부영의정을 지낸 서인의 거두 김수항의 증손이고, 경종 때 의정부영의정을 지낸 노론 지도자 김창집의 손자이며, 승지로 증 의정부좌찬성에 추증된 김제겸의 아들이다. 1722년(경종 2) 신임사화에서 목호룡(睦虎龍)의 고변에 연루되어 서덕수 등과 함께 연잉군을 추대하려 했다는 혐의를 받았다. 목호룡 등에 의하면 그는 심상길 등과 함께 연잉군의 사저에서 그를 만나 연잉군의 추대를 기도했다는 것이다. 그는 의금부에 투옥되어 아홉 차례의 형신(刑訊)을 받았지만, 죽을 때까지도 혐의를 부인하였다. 한편 그의 조부 김창집은 다른 노론 4대신 이건명, 이이명, 조태채 등과 함께 세제 연잉군의 대리청정을 주장한 바 있으므로, 역모로 몰리게 된다. 결국 그는 형문을 받던 중 옥사하였다.

이때 왕세제 대리청정을 주장했던 조부 김창집도 사형당했고, 김창집의 아들이자 김성행의 아버지인 김제겸 역시 울산으로 유배되었고 뒤에 함경북도 부령으로 이배되었다가 사형당하였다. 이때 할아버지 김창집, 아버지 김제겸과 함께 3대가 사형을 당했지만, 그의 동생 김원행은 5촌 당숙 김숭겸의 양자로 간 까닭에 사형을 모면하였다.

1724년 연잉군이 영조로 등극한 이후 노론에 의해 "종사(宗社)가 오늘날까지 보존될 수 있었던 것은 김성행의 힘이었다"는 평가를 받기도 했다. 영조는 직접 제문(祭文)을 지어 추도하였다. 영조 즉위 후 증 의정부 영의정에 추증되고 충신 정려를 하사받았다. 아버지 김제겸 등과 함께 여주군 대신면 초현리에 매장되었다.
김제겸이 의금부 영의정에 추증되었을 때 받은 호는?
충신 정려