Quando João Graciano foi elevado ao sólio pontifício com o nome de Gregório VI, nomeou-o seu secretário. Hildebrando, que tinha apenas 25 anos e era ainda subdiácono, foi assim providencialmente iniciado nos negócios da Igreja, à qual mais tarde governaria com tanta sabedoria e fortaleza. Nessa época ele travou relações com outro dos maiores homens do tempo, o cardeal São Pedro Damião.
Apesar de não ter sido ainda ordenado sacerdote, o santo era já grande pregador. O imperador Henrique III afirmou que nenhuma palavra o havia comovido tanto quanto a dele.
No ano 1045, Gregório VI foi deposto pelo Imperador, e desterrado para Colônia. Para não deixar a Igreja autocéfala, renunciou então ao papado, e Hildebrando seguiu-o no exílio. Com a morte do ex-Papa no ano seguinte, Hildebrando viajou para a França, onde visitou a abadia de Cluny, então no seu apogeu. Encantado com a santidade de Santo Hugo e de Santo Odilon, nela tomou o hábito monástico.
Mas não pôde desfrutar por muito tempo do seu retiro. Pois Bruno, bispo de Toul, tendo sido eleito Papa com o nome de Leão IX, confiou a Hildebrando a administração temporal da Igreja com o título de arcedíago. Confiou-lhe também o governo do mosteiro de São Paulo Extramuros, então muito decadente. Além disso, reconhecendo seu grande talento, conferiu-lhe também o título de Cardeal-diácono.