Fu di questa famiglia il famoso Ulisse Aldrovandi, grande medico e naturalista (1572-1605). Il palazzo attuale, di chiara impronta barocca, fu iniziato nel 1725 dal cardinale Pompeo Aldrovandi (1668-1752), su disegno di Alfonso Torreggiani. L’atrio, lo scalone e le logge sono di Francesco Maria Angelici, mentre al Torreggiani sono attribuite la bella scalinata interna e la facciata. Lo scalone è decorato con statue di Domenico Piò Di stucchi è adornato anche un vivace affresco di G. Gandolfi, con una bellissima “Diana”. Le pareti delle sale sono ornate di magnifici affreschi - con storie mitologiche, allegorie e le vicende gloriose della famiglia Aldrovandi - eseguiti nel 1755 da Vittorio Maria Bigari, figurinista, e Stefano Orlandi, ornatista. Nel salone dell’ala occidentale c’è l’attuale Biblioteca Comunale, qui trasferita nel 1967. Palazzo Aldrovandi ospita anche la Cineteca ed il Circolo della Stampa.