Il Palazzo deve la sua fortuna alla posizione geografica del luogo. Per l'ampio controllo visivo sulla zona circostante, infatti, fu scelto come residenza dai feudatari. Il nucleo storico del palazzo è costituito da più corpi che mostrano alcune singolarità come la presenza di una torre d’angolo, di chiara impronta tardo rinascimentale, contraddistinta da coppie di finestre ad arco sui lati; quest
o a testimonianza della probabile edificazione a cavallo tra il XI ed il XII secolo. Nicola Ventimiglia nel 1749 acquistò san Giovanni, ivi compreso il suddetto Palazzo: è facile credere che il Ventimiglia, venuto in possesso del Palazzo, vi abbia apportato delle migliorie e degli ampliamenti. È pertanto da datare intorno alla metà del XVIII secolo sia il portale in pietra che il torrino angolare dai bei mensoloni esporti ricchi di modanature che ingentiliscono quella che certamente doveva essere una torretta di difesa e di avvistamento (basti pensare alla funzione strategica che questo corpo dovette avere nell’Ottocento, munito anche di fuciliere in pietra). Sempre in questo periodo dovette essere realizzato il portale in legno di castagno, ancora presente, vista la fattura delle parti in legno e di quelle metalliche. Lo stesso dicasi per la facciata interna prospiciente la corte centrale e quelle della torre, che solo in seguito ad un recente restauro hanno visto rinascere il bel prospetto in pietra.
