Il castello sorgeva a ridosso del borgo, sopra un promontorio che domina tutta intera la valle. Di proprietà dei Malaspina, poi dei Fieschi e quindi della famiglia Doria, vi si amministrava la giustizia dell'intero Feudo, si giudicavano tutti i reati, provvedendo agli interrogatori, alla tortura ed all'esecuzione delle pene corporali previste dallo Statuto.
Era pertanto provvisto di carceri collocate nella torre delle quali troviamo citazioni sin dalla metà del 500. C'erano poi i locali ove i notai del Borgo rogavano gli atti e si registravano le licenze, numerose stanze, cucine, magazzini e una Cappella dedicata a N.S. Signora della Neve. Venne distrutto probabilmente attorno al 1822 dalle truppe francesi che fecero a pezzi porte ed infissi per riscaldarsi. Quando i soldati lo lasciarono il castello rimase incustodito e quindi venne saccheggiato. Il tempo e le intemperie hanno fatto il resto. Solo nel 1896 i suoi ruderi furono dichiarati monumento nazionale dal Regio Ufficio di Storia e Arte. Recentemente è stato oggetto di alcuni lavori di restauro per la messa in sicurezza e per la rivalutazione di un’importantissima testimonianza storico-culturale.