Integrado nas muralhas, o Castelo de Faro tinha três portas: duas com ligação para o mar (a Porta do Mar e a Porta do Socorro), e a terceira para a Vila-Adentro. Sofreu sucessivos restauros, mas destaca-se o que se realizou a seguir a 1596, em que sofreu profundas alterações, pois foi adaptado à artilharia. 

Em 1931, a construção da Fábrica da Companhia Produtora de Malte e Cerveja Portugália veio adulterar profundamente os torreões e os panos de muralha de ligação à Vila-Adentro. Foi feito ainda um grande 

rasgo nas muralhas, tendo-se aberto a Rua do Castelo.