Situado na colina fronteira ao burgo medieval, mas dentro da malha urbana moderna, o Colégio dos Jesuítas foi construído para ser o principal edifício da cidade, desfrutando de enorme impacto visual, elevando-se no meio de casario baixo, e uma carga cenográfica como não acontece em nenhum outro monumento portimonense.

A sua edificação recua a 1660 e a uma figura importante da nobreza local: D. Diogo Gonçalves. Este nobre, oriundo de Vila Nova de Portimão e com ligações ao Oriente, determinou, por testamento, a fundação de um Colégio da Companhia de Jesus em Portimão, tendo-se feito sepultar, posteriormente, na capela-mor da sua igreja, em arcossólio de volta perfeita, de mármore, e túmulo acompanhado por uma extensa legenda epigráfica. É provável que o Colégio tenha ocupado parcialmente estruturas anteriores, como o parece provar um arco manuelino, atualmente no corpo lateral direito do conjunto. O edifício barroco, todavia, levou algum tempo a ser construído, tendo-se realizado a cerimónia de sagração já em 1707, quando o tempo artístico assumia plenamente o Barroco, em detrimento das conceções maneiristas que caracterizam ainda as construções jesuíticas.

Como construção jesuítica, a arquitetura do Colégio reflete as dominantes estéticas sóbrias e austeras da Ordem e que constituem um dos mais interessantes capítulos da arquitetura seiscentista portuguesa. Com a expulsão dos Jesuítas pelo Marquês de Pombal, o edifício para a ordem de S. Camilo de Lélis, ficando com uma intensa ocupação civil aquando da extinção das ordens religiosas em 1834. Classificado como Imóvel de Interesse Municipal.