Situado no Largo da Sé, este edifício, destinado à formação do clero regular, foi mandado construir pelos mais altos responsáveis religiosos da Diocese, após a extinção dos Jesuítas e o encerramento do seu Colégio nesta cidade. 

A construção do Seminário apresenta duas fases distintas: a primeira, a norte, que faz ligação com o Paço Episcopal, foi realizada por D. José Maria de Meio, reaproveitando as antigas casas pontificais de D. Afonso de Castelo Branco; a segunda, feita alguns anos depois pelo arquitecto genovês Francisco Xavier Fabri, por ordem do Bispo D. Francisco Gomes do Avelar. Devido a dificuldades económicas, as Aulas Públicas de Letras ministradas na cidade foram também incluídas no Seminário. 

Com o liberalismo, em 1834, os cursos eclesiásticos foram interrompidos, mas continuaram a funcionar as aulas públicas, transformadas, em 1848, no Liceu Nacional. 

Após o restabelecimento das relações diplomáticas do Governo Português com a Santa Sé, o Bispo D.Carlos Cristóvão Genuês Pereira reorganizou, a partir de 1853, o ensino religioso no Seminário. 

Em 1906, o Liceu foi transferido para o edifício entretanto construído junto da Alameda . 

Em 1911, com a irnplantação da República, o Seminário foi confiscado e nele se instalou o Regimento de Infantaria 33. Apenas em 1933 foi devolvida uma parte à diocese, e a restante em 1940. 

Atualmente continua a ter as funções formativas de candidatos ao sacerdócio.