Il Museo si trova nell'ex Convento delle Clarisse e propone al pubblico la visita di preziose collezioni di oreficeria, avori, porcellane, sculture e dipinti, databili dal XIV al XX secolo, che Attilio Gaffoglio ha collezionato e raccolto nella sua casa nell'arco degli ultimi quarant'anni.
Amante dell'arte, così come la moglie Cleofe, Gaffoglio acquistò opere ed oggetti d'arte: le porcellane prima, quindi gli argenti, gli avori, i dipinti e le sculture e, infine, la preziosa oreficeria. La donazione delle collezioni è stata fatta nel Duemila e comprende 303 oggetti e opere d'arte antica: 119 porcellane e maioliche, 65 argenti, 48 avori, 18 icone, ed un piccolo nucleo di dipinti e sculture, altri oggetti di varia materia.
Il 17 Luglio 2000 Attilio Gaffoglio muore improvvisamente lasciando erede il Comune di Rapallo delle rimanenti opere che sono oltre 400 tra porcellane, avori, smalti, dipinti ed oreficeria.
Gli avori rappresentano i manufatti più antichi e raffinati delle collezioni Gaffoglio: dallo splendido cofanetto del Quattrocento attribuibile alla bottega veneziana degli Embriachi che lavorava per tutte le corti europee, al Crocifisso del Seicento eseguito nelle Fiandre, a vari squisiti altaroli da viaggio, all'ovale prodotto in Germania nel Seicento inserito in una finissima cornice, dai tankard, boccali con coperchio in avorio scolpito ad altorilievo, agli scrimshaws, incisioni su osso mammifero marino realizzate dai marinai inglesi ed americani quand'erano imbarcati sulle navi baleniere.
Tra le porcellane italiane, francesi, inglesi e tedesche il nucleo più consistente e significativo è costituito da quelle eseguite dalla manifattura di Meissen.