Il Palazzo del Carmine, così come lo vediamo oggi, venne costruito nel 1738 in contemporanea con la ristrutturazione della chiesa. Già dalla metà del secolo precedente esisteva qui un convento, probabilmente ricavato dalle precedenti costruzioni, che ospitava i padri Lucchesi chiamati a Vasto dal Marchese Diego d’Avalos affinché costituissero un collegio per l’educazione dei giovani, in particolare con l’insegnamento di grammatica, retorica, filosofia e dottrina cristiana.
Nel 1762 venne completato il chiostro, oggi cortile del Palazzo e, negli anni successivi, fra queste mura avvenne la formazione dei principali intellettuali vastesi del periodo, fra i quali ricordiamo Gabriele Rossetti.
Nel 1809 il collegio venne soppresso e il palazzo venne destinato ad accogliere il comando della Gendarmeria. Con il ritorno dei Borbone sul trono di Napoli, divenne una scuola pubblica, poi sede degli uffici comunali e prima sede del Museo archeologico fondato da Luigi Marchesani.
Successivamente ai patti lateranensi, il palazzo venne destinato ai padri Gabriellisti di Monfort che vi fondarono un collegio, successivamente trasferito nell’Istituto Immacolata.
Il Palazzo del Carmine divenne così sede della Curia Arcivescovile e venne successivamente anche ceduto dal Comune alla stessa.
Solo negli ultimi anni, grazie all’interessamento di alcune associazioni, il complesso è stato riaperto ad alcune attività per i cittadini, come proiezioni cinematografiche e visite all’interessante complesso delle cantine settecentesche.