O Paço Episcopal ocupa todo um quarteirão, ficando a fachada principal no Largo da Sé. A construção inicial deve datar de 1581/1585, anos correspondentes ao bispado de D. Afonso de Castelo Branco, primeiro prelado a residir nesta cidade após a transferência do assento episcopal de Silves para Faro. 

Entre 1704 e 1715, D. António Pereira Da Silva, o maior mecenas da época, mandou revestir a Biblioteca com estantes de madeira, onde figura o seu brasão. Contudo, desconhece-se a data exacta e o artista que executou a pintura em “chinoiserie” (uso de elementos chineses na decoração). 

Deve-se a D. Frei Lourenço de Santa Maria o revestimento azulejar do vestíbulo, da escadaria e ainda das três salas de aparato, que constituem a maior e mais significativa manifestação da azulejaria no Algarve.