A catedral está construída no local onde se ergueu a primeira capela, entre as ruas Conde do Pinhal e Treze de Maio, na área central. O projeto é do professor Ernfried Frick e conta com vitrais de Helmar, os altares são em mármore carrara e a Via Sacrafoi executada pela artista de São Carlos "Almira Ragonesi Bruno". A imagem de São Carlos Borromeu da época de fundação da cidade, com a cabeça e mãos esculpidas em madeira, está na Catedral.
A primeira capela foi erguida durante o ano de 1856, antes mesmo da autorização escrita do bispo Dom Antônio Joaquim de Melo(a qual chegou somente em 4 de fevereiro de 1857). Certamente os construtores já contavam a autorização oral do bispo, pois naquele tempo a correspondência era muito demorada. Era uma construção bem rústica, constituída principalmente de madeira. Foi consagrada a São Carlos Borromeu por ser o santo de devoção da família Arruda Botelho, dona das terras onde a capela estava sendo construída. A família viria fundar a cidade de São Carlos em 4 de novembro de 1857, doando parte de suas terras (incluindo a capela) para tal feito.
Aos 2 de fevereiro de 1858, o Bispo de São Paulo, Dom Antônio Joaquim de Melo, elevou a Capela à categoria de Paróquia de São Carlos. Devido à precariedade do templo, o pároco (padre Joaquim Botelho da Fonseca) foi enviado somente dois anos depois.
Em 1868 foi realizada a primeira reforma do templo, e contou com a ajuda da Câmara Municipal. Foi edificado de modo a abranger em seu recinto a capela primitiva, que foi sendo desmanchada à medida que ia sendo erguida a nova.
Uma visita do imperador Dom Pedro II a São Carlos, em 1886, motivou a ampliação da pequena matriz. Também ergueu-se uma torre, cuja cúpula era arredondada e na qual, em 21/03/1912 , foi inaugurado um relógio, produzido pela fábrica de Relógios Michelini. Em 1918, uma reforma na fachada alteraria também a torre, que passaria a ser de base quadrada, encimada por pirâmide oitavada.
Com a criação da Diocese de São Carlos em 7 de junho de 1908, a matriz de São Carlos foi elevada à categoria de Catedral.