Nella piazza alle spalle del duomo troneggia il grandioso Palazzo ducale, edificato nel 1659 dall’architetto napoletano F.A. Picchiatti per il duca Niccolò Giudice. Il grande prospetto che si affaccia sulla piazza, contento tra due corpi quadrangolari aggettanti, è a piano terra bugnato, disegnato a fasce ortogonali nei due piani superiori. Il monumentale portale immette nella spaziosa corte interna. Il prospetto a nord si affaccia direttamente sul mare e conserva della bellissima balconata soltanto la lunga serie di mensole e di finestre.
Numerosi e di pregio i palazzi rinascimentali della nobiltà presenti nel borgo antico tra cui il Palazzo Saraceno del XVII secolo, in via Gentile, con il portale ad arco bugnato e il piccolo giardino pensile al primo piano, al cui interno c’è una vera di pozzo esagonale con teste di saraceni.
Tra le chiese medievali quella dello Spirito Santo, fondata nel 1395 che riprende l’antica tipologia delle cupole in asse. E i complessi conventuali dei domenicani in Piazza Vittorio Emanuele edificati nel 1703 e modificati nell’Ottocento la chiesa conserva al suo interno una preziosa tela di Lorenzo Lotto raffigurante S.Felice.