Bibliofilo e presidente del Senato di Milano, Carlo Pertusati raccolse una biblioteca di circa 24.000 volumi a stampa e manoscritti, che nel 1763 fu acquistata dalla Congregazione di Stato di Lombardia.

Riconosciuta di uso pubblico con un rescritto di Maria Teresa nel 1770, fu trasferita nel palazzo del collegio di Brera, già della soppressa Compagnia di Gesù; in seguito i volumi furono destinati in parte a noi, in parte alla Braidense.