Il Castello sorge su uno scoglio che si protende verso il mare, nei pressi dell’elegante lungomare Vittorio Veneto; la fortificazione fu fortemente voluta dagli abitanti della cittadina a seguito dell’improvvisa incursione del pirata Torghud, meglio noto come Dragut, che nel 1549 prese d’assalto il centro, seminando terrore e devastazione e arrivando a catturare donne e bambini che furono condotti ad Algeri, patendo indescrivibili sofferenze.
Il castello mutò nel tempo per ampliamenti e differenti destinazioni: nel Seicento venne utilizzato come abitazione del Capitano della città,. Fu, quindi, prigione e poi sede della Guardia di Finanza, finché fu acquistato dal Comune nel 1959 e trasformato in sede espositiva, ulteriormente valorizzata e ampliata dai restauri del 1997 e, in seguito, del 2005.