La basilica fu eretta poco dopo la metà del V secolo dal Vescovo Neone, che la dedicò ai SS. Apostoli. I muri originali non esistono più, perché la chiesa è stata completamente rifatta nel X-XI secolo. Di poco anteriore a questa ricostruzione è il campanile quadrato, alto quasi 33 metri. Nel 1261 la chiesa fu affidata ai Frati Conventuali, e da allora prese il nome attuale. In essa, nel 1321, si svolsero i funerali di Dante, che venne sepolto nei pressi della chiesa.
L’edificio prospetta su una piccola piazza e si presenta semplice e lineare; la facciata, in povero laterizio a vista, è mossa al centro da una piccola bifora. L'interno, diviso in tre navate da due file di antiche colonne marmoree e coperto da un soffitto medioevale a chiglia rovescia di nave, s'impone per la semplicità e l'armonia delle sue linee architettoniche. Queste linee fanno confluire lo sguardo del visitatore verso l'abside finestrata, sotto al cui presbiterio rialzato si svolge il vano d'una cripta ad oratorio, di poco anteriore all’anno 1000. Visibile attraverso alcune aperture, la cripta è costantemente invasa dalle acque. Il suo pavimento è costituito da quello dell'antica costruzione del V secolo, tanto che vi si intravedono dei resti musivi, fra cui uno che reca un'iscrizione latina sulla sepoltura del fondatore, il Vescovo Neone. L'altare è costituito da un sarcofago del V secolo. All'interno della chiesa si conservano due antichi sarcofagi di marmo, attribuiti alla fine del IV secolo o alla prima metà del V.
