La leggenda popolare vuole che Filippino Gonzaga (il quale non figura neppure nella linea diretta dei signori di Mantova) nel 1341 facesse morire in quella gabbia Gilberto e Lodovico Fogliani, padre e figlio, rei di aver cospirato contro i Gonzaga. Ma non vi sono documenti che provino questo fatto. Di contro, negli archivi mantovani i documenti che comprovano l'uso della gabbia, appartengono al 1500, e si riferiscono ad un certo frate domenicano, che accusato di sacrilegio (per aver celebrato la messa senza esserne autorizzato e senza saper leggere), di ferimento, assassinio e stupro, ricercato dalla giustizia, fu trovato in una casa di donne di malaffare.
L’uso della gabbia si conservò a lungo, come è dimostrato dai documenti, lettere e rapporti che il capitano fiscale trasmetteva ai Gonzaga. Le persone pietose potevano portare cibo o ristoro ai condannati lassù rinchiusi, onde prolungassero la loro misera esistenza: ma la scala della torre era così malagevole e pericolosa, che ben pochi si avventuravano a salirvi.