L'edificio, inizialmente dotato di tre Porte d’accesso e circondato da un vasto fossato, è inserito nella cinta muraria ed è costituito da un impianto a forma pentagonale irregolare per adattarsi al terreno con bastioni di notevole altezza. Molto innovativa - per quei tempi - fu l’impostazione dei bastioni occidentali e quella degli ambienti interni, formata da una complicata rete di stanze, gallerie, pozzi e prese d’aria, posti su vari livelli.
La Fortezza fu utilizzata fino alla fine del Settecento. Nel 1800 venne in parte smantellata dai soldati di Napoleone, e le ferite alla struttura sono tuttora visibili. Il restauro - già avviato alla fine dell’Ottocento - figura nei programmi del Comune di Arezzo. Dalla Fortezza si può godere uno dei migliori panorami della città sottostante e della Valle dell’Arno.