Il Palazzo Vescovile sorge in Piazza del Duomo. La sua costruzione fu iniziata nel secolo XI dal vescovo Cadalo (che poi divenne antipapa col nome di Onorio II). L’edificio fu poi ingrandito e rimaneggiato varie volte. Nel 1232 fu completamente rifatta la facciata, per volere del Vescovo Grazia. Nel Cinquecento fu aggiunto il cortile interno e - dal 1553 al 1568 - il Palazzo fu la prima residenza in città del duca Ottavio Farnese.
L’aspetto attuale risale all’inizio del Novecento. Infatti, dal 1922 al 1930, sotto il vescovo Guido Maria Conforti, la facciata fu riportata all'antico aspetto duecentesco con il ripristino delle grandi trifore, delle colonne del piano terra e delle logge del cortile murate nel secolo XVII. Peraltro, tracce dell’antica struttura medievale - quali la torre e il monumentale ingresso in pietre squadrate - sono tuttora visibili lungo il Vicolo del Medioevo.
Fra il 1957 e il 1959, sotto il Vescovo Evasio Colli, fu restituito alle sue forme rinascimentali l'elegante cortile interno. Il Palazzo ospita nel lato destro il Museo Diocesano: grazie alle raccolte delle strutture originali riportate alla luce, il Museo consente di seguire gli sviluppi del complesso episcopale dall’età romana al Medioevo.
