로마인 귀족 요한네스의 아들인 그레고리오는 겉보기에는 활동적이지만, 내면은 순한 성직자였다고 전해진다. 교황 파스칼 1세가 재위한 시기에 사제로 서품받았으며, 827년 교황 발렌티노가 선종했을 당시 그는 로마의 산 마르코 성당의 사제급 추기경이었다. 전임 교황과 마찬가지로 그레고리오 역시 로마의 귀족들로부터 지명받았으며, 선거인단은 만장일치로 그가 새 교황으로 적법한 인물이라는 것에 동의하였다. 그들은 즉시 산티 코스마 에 다미아노 성당에 있던 그레고리오를 찾아내서, 그의 항의에도 불구하고 강제로 끌고 가 라테라노 궁전에 감금하였다. 결국 그레고리오는 827년 10월 교황직을 받아들였다. 그레고리오가 교황직을 받아들인 연유는 교황 에우제니오 2세 때부터 시작된 로마의 정국을 통제하려는 시도를 이어가기 위한 의도에서 비롯한 것으로 여겨진다. 

그러나 그의 주교 서임식은 루트비히 1세 황제가 그의 선출을 받아들이기로 결정한 828년 3월 29일까지 연기되었다. 이렇듯 그의 주교 서임이 지연된 것은 824년 상호조약에 따라 프랑크 황제가 그 타당성을 인정하기 전까지는 새로 선출된 교황은 즉위할 수 없기 때문이었다. 루트비히 1세는 자신의 승인이 떨어지기 전에 그레고리오 4세가 먼저 즉위하려 한 것에 대해 항의했다고 전해진다. 황제지상주의에 따른 이러한 요구사항을 수용한 그레고리오 4세는 828년과 829년에 루트비히 1세에게 여러 가지 사항을 논의하기 위해 사절단을 보냈다.

829년 1월 그레고리오 4세는 로마 교회의 수도원 영지에 대한 권리를 놓고 파르파 수도원과 분쟁에 휘말렸다. 주교와 황제의 대리인을 판관으로 한 법정에서 파르파 수도원장 인고알드는 역대 프랑크 황제들이 수도원 영지에 대한 파르파 수도원의 소유권을 인정했으며, 교황 하드리아노 1세와 교황 레오 3세가 불법적으로 수도원의 소유지를 점거했다고 주장했다. 황제의 대리인은 수도원 편에 서서 판결을 내렸다. 곧 현재 로마 교회가 갖고 있는 땅을 수도원에 돌려주라는 판결이었다. 그레고리오 4세는 그 판결에 순응하지는 않았지만, 이에 대해 항소하려 했다는 이야기는 없다.
재판에서 교황 하드리아노 1세와 교황 레오 3세가 수도원의 땅을 불법적으로 차지했다고 주장한 사람은?
수도원장 인고알드