A Biblioteca, como parte integrante do AGCRJ, existe como um serviço subordinado à Gerência de de Pesquisa. Seu nome é uma homenagem ao historiador Oswaldo Porto Rocha, autor do primeiro livro publicado pela Biblioteca Carioca - coleção criada em 1986, pelo Departamento de Documentação e Informação Cultural da Secretaria Municipal de Cultura -, intitulado A era das demolições: habitações populares, um um dos mais importantes livros que surgiram no âmbito da retomada dos estudos sobre o Rio de Janeiro, anteriormente elaborado, principalmente, pelos cronistas do século XIX e início do XX.
Como uma biblioteca pública especializada em História da Cidade do Rio de Janeiro, possui um acervo diversificado, composto por cerca de 8 mil livros e 1300 títulos de periódicos. Uma grande parte desse acervo foi adquirida por doação, e outra menor, por compra. Constam no acervo obras relacionadas à História do Brasil, História da Cidade do Rio de Janeiro (Arquitetura, Urbanismo, Saneamento, etc.) e Arquivologia. Quanto aos tipos de documentos, a sua coleção é composta por livros, periódicos, obras raras, boletins, relatórios, mensagens, anais, anuários, censos, etc. Além do acervo já relacionado, a Biblioteca possui coleções particulares, frutos de doações, tais como: Oliveira Reis, Pires de Almeida, Manoel Maurício de Albuquerque e Ferreira da Rosa.