Il Borgo di San Fruttuoso, situato in una piccola baia a sud del promontorio, è raggiungibile solo a piedi con sentieri opportunamente segnalati o via mare con battelli di linea. La sua Abbazia di San Fruttuoso di Capodimonte risale al X secolo. Per secoli sotto il dominio dei Doria, conserva il piccolo chiostro su due piani chiuso da due ordini di portici e nella cripta le Tombe dei Doria. Domina la baia la Torre dei Doria.
Il complesso abbaziale è stato restaurato dal FAI che ne cura il mantenimento.
Narra la leggenda che cinque monaci partiti da Terragona, si posero in viaggio per seppellire degnamente le reliquie del Vescovo Fruttuoso. Fu proprio il Santo ad indicare in sogno ai monaci dove voleva essere sepolto. Avrebbero dovuto cercare tre segnali: un drago, una caverna e una sorgente. Grazie alla guida di un angelo, che trovò e vinse il drago, i religiosi scoprirono l’invisibile baia di Capodimonte con una piccola grotta ed una fresca sorgente, dove diedero avvio alla loro comunità.
Nel 1550 i Doria eressero la Torre quadrangolare per difendere il borgo dalle incursioni dei Turchi.