Alla sua morte Karl Firmian lasciò una copiosa biblioteca di oltre 40.000 volumi e una preziosa raccolta d'arte.

Politico austriaco nonché ministro plenipotenziario e governatore generale della Lombardia austriaca, fu un valente promotore e collezionista d'arte.

Nipote dell'arcivescovo cattolico Leopold Anton, Firmian ricevette la propria educazione ad Erthal, Innsbruck, Salisburgo, all'Università di Leida, e successivamente all'estero con soggiorni in Francia ed Italia.

Rientrato in Germania per volontà di Francesco I, Maria Teresa nel 1753 lo volle ambasciatore a Napoli, destinandolo dal 1756 come ministro plenipotenziario alla Lombardia, dove fu promotore e fervido sostenitore delle scienze e delle arti, contribuendo a far conoscere Johann Joachim Winckelmann ed Angelika Kauffman.

Morì il 20 luglio 1782 a Milano e fu sepolto nella chiesa di San Bartolomeo.