L'edificio fu costruito dall’architetto fiorentino Filerete nel 1453, per volontà di Francesco Sforza. Milano voleva avere un istituto ospedaliero, analogo allo “Spedale degli Innocenti” che era sorto a Firenze circa trent’anni prima.
Il complesso fu disegnato con criteri sicuramente avanzati e moderni, per quei tempi. Le camere, ad esempio, erano attraversate da canaline in cui scorreva l'acqua del vicino Naviglio si manteneva così un buon livello igienico e si riduceva il diffondersi delle infezioni. In seguito la costruzione fu affidata agli architetti lombardi Solari ed Amadeo: quest’ultimo, verso la fine del Quattrocento, abbellì il portico e le facciate con le decorazioni che ancora esistono. Grazie al mecenatismo di G.P. Carcano, la costruzione fu ulteriormente ingrandita nel Seicento dall’architetto Richini, che realizzò anche il cortile centrale.
Nel 1805, a costruzione ultimata, l'Ospedale aveva 2500 posti, e si poneva quindi fra le più importanti strutture ospedaliere d’Europa. Ca’ Granda ospitò l'Ospedale Maggiore di Milano fino al 1938, anno in cui l’Ospedale stesso fu trasferito nella Niguarda. Si decise allora di assegnare gli edifici alla nuova Università, ma il progetto non fu attuato immediatamente. L'edificio fu bombardato e molto danneggiato nel 1943, ma soprattutto nei due anni seguenti. L'opera di restauro ebbe inizio negli anni Cinquanta ed è continuata in diversi periodi: pochi anni fa, si è concluso un notevole restauro, con il riassetto del cortile del Filerete.