Apesar do ímpeto reformador com que vinha imbuído, ou talvez por causa dele, o episcopado de D. José Pegado de Azevedo foi marcado por constantes peripécias escandalosas envolvendo as freiras dos diversos conventos das ilhas. Entre estes incidentes, avultou o público escândalo dado das freiras do Convento de Santo André, de Vila Franca do Campo, de São Gonçalo de Angra, com relações amorosa entre as freiras e alguns elementos da nobreza, de que resultaram frequentes violação de clausura. Mesmo na pacata Horta, no Convento da Glória não faltou a sedução e rapto de religiosas por ingleses, com injustificável conivência de gente de bem da terra e até de um minorista, que foi depois processado.
O sentido das extravagâncias morais proliferava à rédea solta e os parlatórios, mirantes e gradinhas das casas conventuais, outrora de grande gravidade e compostura, eram disso prova dissoluta. O bispo, tentando impor a moralização dos conventos, viu-se engolfado numa tremenda tempestade de ódios e numa campanha de descrédito onde a calúnia e o insulto pululavam. Nem a visita ao Faial, nem as que fez a São Miguel, trouxeram sossego e paz de espírito a D. José Pegado de Azevedo, que se viu incompreendido nas reformas que pretendeu introduzir no clero regular e secular e crescentemente contestado pelo clero. Em Angra, apareceram pasquins infamantes afixados nas portas da Sé, junto do pelourinho do Alto das Covas e nas esquinas de rua, onde se mostrava o bispo em figura libidinosa.
Por sua iniciativa deu-se início à reedificação da Igreja Matriz de Santa Cruz da Praia, caída em consequência dos sismos de 1801, conquanto já abalada desde o grande terramoto da primeira caída da Praia em 1614.
Este prelado uma festa do Espírito Santo na Sé, esmolada como era tradição, que o Cabido se apressou a extinguir logo após a sua morte.