Construit par le seigneur de Vasto, Jacopo Caldora, vers 1427 sur des jardins qui appartenaient autrefois au couvent des Augustins, le palace devint la propriété des Marchesi d’Avalos en 1496. Les d’Avalos conservèrent l’implantation gothique tardive du palais, encore visible dans certains détails mis au jour par les récents travaux de restauration, mais ils développèrent et agrandirent la construction, en faisant le centre de leur pouvoir.
En 1566, malheureusement, le palais fut incendié par les Ottomans qui, sous les ordres de Piyale Pacha, avaient envahi la ville pour la piller. Après quelques années, les Marchesi d’Avalos le reconstruisirent dans sa forme actuelle, en commençant par la façade ouest, donnant sur la Piazza Lucio Valerio Pudente. Cette façade est sans doute la plus remarquable d’un point de vue architectural et s’inspire du style des palais romains du XVIe siècle.
Le marquis Cesare Michelangelo d’Avalos apporta des améliorations significatives au palais, en l’équipant d’un théâtre au rez-de-chaussée et d’un escalier monumental qui mène aujourd’hui à la pinacothèque. Ses héritiers, dans la seconde moitié du XVIIIe siècle, confièrent probablement à l’architecte Mario Gioffredo, le même qui est à l’origine du projet de l’église du Carmine, l’aménagement du côté nord.
À la fin du siècle, les loggias et les terrasses du côté donnant sur la mer furent aménagées, ainsi qu’un jardin dans le style napolitain. Ce jardin est aujourd’hui peut-être la partie la plus intéressante du complexe en raison de l’atmosphère créée par la pergola soutenue par des colonnes en briques, des carreaux de faïence napolitains, de la vue imprenable sur le golfe de Vasto et des traces architecturales du premier palais, dont une belle bifora dans le style gothique flamboyant.

Après la fin du marquisat, proclamée en 1808, les d’Avalos se retirèrent à Naples. Le palais fut cédé à des privés et divisé en appartements et commerces. Pendant de nombreuses années, son théâtre accueillit un cinéma. En 1974, il fut presque entièrement acquis par la municipalité de Vasto et transformé en musée.
Aujourd’hui, le Palazzo d’Avalos abrite le Musée Archéologique, le Musée du Costume Ancien et la Pinacothèque.
Le jardin dans le style napolitain fait partie du parcours de visite du musée, mais accueille également divers événements estivaux. Le cour intérieur du palais, quant à lui, est parfois le lieu de concerts.
Le palais a été presque entièrement restauré par la municipalité de Vasto dans les années 1990. Cependant, l’angle nord-est, avec la grande terrasse donnant sur la mer, appartient encore à des privés. Donc, si jamais vous rêvez de vivre à Vasto, dans le palais de ses marquis, sachez que ce rêve est encore réalisable!