Il tempio fu eretto dalla famiglia dei Sadoleto in onore della B.V. del Carmine assieme al monastero, in cui si stabilirono i Carmelitani. Una lapide sopra la porta laterale indica che la costruzione è del 1319. Un primo restauro si ebbe nel XV secolo: nel 1649, su progetto del Galaverna, fu attuata una ricostruzione che conservò la struttura originaria, ma trasformò l'ornamentazione e le pitture. I lavori terminarono con tutta probabilità prima del 1658: una lapide all'interno attesta che la ricostruzione avvenne all'epoca di Francesco I che morì proprio in quell'anno.
All'esterno invece i lavori continuarono ancora per parecchi anni. Nel 1768, demolita la vecchia Chiesa di S. Biagio che si trovava sulla Via Emilia - nell'area oggi occupata dal Palazzo Montecuccoli degli Erri - la parrocchia omonima fu trasferita in questa chiesa che prese il nome di S. Biagio del Carmine. Nel 1919 venne abbassato il pavimento e rifatto l'impianto di marmo, ricostruito il pulpito, variati alcuni altari e tolti gli ultimi due laterali.
Nel 1999 iniziarono lavori di consolidamento delle strutture murarie. L'Annunciazione rappresentava una delle rare testimonianze della pittura gotica modenese ed era in città l'unico dipinto di quell'epoca ancora conservato sulle pareti esterne di una chiesa. Il dipinto è stato quindi adeguatamente protetto. Tuttavia, con il procedere del cantiere, ci si è accorse che la decorazione geometrica dipinta sul profilo dell'arcata sembrava continuare nel sottarco. Fu appurato che esso celava una nicchia con un dipinto, raffigurante La Madonna col Bambino, San Martino e due offerenti.
