Il palazzo ducale è la trasformazione di un antico castello – fortezza la cui esistenza è attestata nei documenti almeno dal XII sec. L’immagine attuale è frutto degli interventi successivi, in particolare di quelli voluti dalla famiglia Mastrilli tra il XVII e il XVIII sec.. Dell’antica fortezza la costruzione conserva la pianta quadrata con torri angolari, le feritoie ed i ponti sopra il doppio fossato che la circonda, mentre le ampie logge porticate, le eleganti finestre e gli altri elementi decorativi della facciata sono frutto della trasformazionesettecentesca della fabbrica militare in dimora gentilizia. Nella torre a nord ovest vi è ancora la barriera daziale con lo stemma marmoreo dei Carafa e la grande bascuglia. Annesso al Palazzo vi è un grande parco in cui si rinvengono ancora le tracce del disegno della sistemazione settecentesca che dovette essere eseguito in base alle più raffinate teorie paesaggistiche dell’epoca, con viali decorati in stile neoclassico, fontane ed un laghetto artificiale. Attualmente l’edificio, molto rimaneggiato negli interni, è sede dell’ ordine delle Suore Vincenziane cui venne venduto dai discendenti della famiglia Mastrilli.