La chiesa sorge a ridosso delle mura cittadine, nel luogo ove il Vescovo Ercolano - nel 457 - è stato martirizzato dai Goti di Totila e poi sepolto. Il progetto del 1297 è attribuito a Fra’ Bevignate e a Giovanni Pisano: in ogni caso, l’opera fu compiuta nel Trecento, da Ambrogio Maitani.
L’edificio ha forma ottagonale, e si presenta come un torrione, formato da due ambienti sovrapposti. La chiesa grande era sormontata da una più piccola, ma quest’ultima venne in parte distrutta nel Cinquecento, durante i lavori per la costruzione della Rocca Paolina. Sulla facciata s’alza una bella scalinata secentesca a due rampe e spiccano slanciati arconi ogivali, con archetti ciechi sotto la cornice superiore. L’interno mostra un notevole rivestimento barocco, stucchi di Jean Regnaud e alcuni affreschi di G.A. Carlone. L'altar maggiore poggia su un sarcofago romano del III-IV secolo, che custodisce le spoglie del santo titolare.
