Dada a sua localização privilegiada, à entrada do principal rio da província e em constante comunicação com o mar, o amuralhamento de todo o burgo assumia-se como a principal e prioritária tarefa. Neste contexto, a ação do primeiro donatário da vila foi importantíssima, a ele se devendo a ereção do sistema defensivo tardo-medieval.

Ao que tudo indica, a área amuralhada era superior a 6 hectares e definia um polígono irregular que acompanhava a margem do rio e englobava a parte mais alta da vila, onde se situava a Igreja Matriz, também ela mandada edificar por Gonçalo Vaz Castelo Branco. A quase totalidade das muralhas foi destruída, restando pequenos troços, entre prédios e muros de propriedades. O principal troço remanescente localiza-se entre a Porta da Serra e o Postigo dos Fumeiros, conservando ainda parte do caminho de ronda da fortaleza. Um segundo troço, entre o Postigo da Igreja e a Porta de São João, mantém-se ainda parcialmente, bastante danificado e suprimido por construções posteriores. A fisionomia da malha urbana foi também sujeita a numerosas alterações. Em todo o caso, e ao que tudo indica, a vila organizava-se em função de três eixos viários fundamentais, que ligavam outras tantas portas: a da Ribeira; a da Serra e a de São João). Junto à primeira destas portas, na secção urbana mais próxima do rio, localiza-se o núcleo mais antigo, onde ainda se podem observar algumas portas com decoração manuelina, como o nº106 da Rua de Santa Isabel.