Sembra che il baluardo difensivo sia stato costruito nel Medioevo e da sempre utilizzato per funzioni militari. E’ comunque probabile che i romani abbiano fissato una delle loro “stazioni” nell’antica Portus Delphinis e vi abbiano costruito un “castrum” e una “turris”, come era nel loro uso fare ovunque, allorché costruivano i loro punti strategici. E’, inoltre, probabile che abbiano costruito una torre nello stesso luogo ove sorge la torre che possiamo ammirare oggi.
Queste ipotesi si traducono in certezza se si considera la scoperta fatta nel secolo scorso dal professor Pane, della Scuola di Architettura Storica di Napoli, che trovò dei frammenti di materiale romano incorporati nella torre del castello, che lui suppose essere stata ricostruita e restaurata intorno all’anno mille.
Potenziata in epoca napoleonica e, in seguito, ricca dimora di privati, tra cui il console inglese Yeats Brown, dal 1961 la fortezza è proprietà del Comune che l’ha trasformata in un bene pubblico e in una struttura turistica di grande rilievo e ne ha affidato la gestione ad una società esterna che vi organizza esposizioni ed eventi privati. Contiene tesori e meraviglie insospettate e un’ineffabile impressione di mistero e suggestione. E’ circondata da un giardino mediterraneo ricco di fiori, roseti e pergolati; l’incantevole panorama che si osserva dalle svariate aperture e dal terrazzo su Portofino e il suo mare fa comprendere pienamente il grande valore strategico di questa fortezza.
Le pareti dell’edificio sono arricchite da numerosi bassorilievi e arredi architettonici in marmo o ardesia.