Nel 1589, la Congregazione dei Bianchi di Santa Croce, che già si occupava di assistenza agli infermi, chiese di poter realizzare nell’area un padiglione da adibire a ospedale: la richiesta fu accolta nel 1596 dal viceré don Enrico Gusmann, e ancor oggi il corpo centrale del complesso coincide con l'Ospizio dei Bianchi. Nel 1663 i Padri Teresiani vi costruirono il loro convento. L'area ospitò, successivamente, l'ospedale, le carceri dell'Udienza, gli uffici del Genio militare. In tempi più recenti, fino al 1970, ha ospitato le carceri cittadine.
Dell’originario complesso di età normanna, spicca la bella torre quadrata merlata che un tempo accoglieva l’orologio pubblico. In una nicchia del muraglione perimetrale prospiciente sulla Piazza Matteotti, si trova la monumentale e artistica Fontana de “Il Cavatore”, pregevole opera scultoria in bronzo e granito realizzata alla metà del Novecento dallo scultore calabrese Giuseppe Rito.