Nel 1198 il castello fu distrutto a seguito di una rivolta popolare: non a torto, gli assisani vedevano in esso un simbolo dell’oppressione imperiale. La Rocca fu ricostruita alla metà del Trecento, dal Cardinale Egidio Albornoz, legato pontificio, come punto di avvistamento: ne uscì un tipico esempio di architettura militare medievale. Da allora, la Rocca fu protagonista di ogni tentativo di conquista nell'alternarsi al governo della città dei vari signori ed il suo ruolo difensivo accrebbe nel tempo con modifiche nella struttura e con la costruzione di torri e bastioni. Successivamente all'Albornoz, la Rocca fu ampliata e modificata da Biordo Michelotti (1395-98), dal Piccinino (1458), da Pio II (1460), da Sisto IV (1478), da Paolo III (1535) ed assunse un aspetto davvero imponente. Nel Seicento, la Rocca fu completamente abbandonata per rimanere quasi intatta fino al nostro secolo. Oggi è aperta ai sempre più numerosi visitatori; dalle sue torri si offre un panorama tra i più ampi e suggestivi di tutta l'Umbria: Assisi raccolta ai suoi piedi, la splendida Valle Umbra da Perugia a Spoleto.