Naudé, medico erudito, autore nel 1627 di un Avviso per erigere una biblioteca, costituirà dal 1642 al 1652, per Mazarino, la biblioteca privata più importante d'Europa con, nel 1652, quasi 40.000 unità. Per assicurare la sua perennità, Mazarino deciderà di unirla al collegio, di cui aveva assicurato la fondazione nel suo testamento redatto il 6 marzo 1661.
La costruzione del collegio, a Parigi, ai bordi del Quartier Latin e di fronte al palazzo del Louvre, è durata venti anni (1662-1682).
L'ala sinistra fu riservata alla biblioteca.
Le opere in legno dell'ex-biblioteca di Mazarino nel suo palazzo parigino furono installate nella nuova galleria.
Riaperta nel 1689, la biblioteca Mazarine, durante il periodo rivoluzionario, per il suo carattere pubblico e grazie all'azione del suo bibliotecario, il padre Gaspard Michel detto Leblond, approfittò largamente dei sequestri effettuati per ragioni politiche, tanto in istituzioni religiose che presso gli emigrati.
Da allora, continua a svilupparsi, attraverso l'acquisizione di libri recenti, le attribuzioni del Deposito legale e di donazioni talvolta importanti.
Dopo la guerra 1940-1945, ricongiunta all'Institut de France
La sua sala di lettura, restaurata tra il 1968 e il 1974, riproduce il decoro d'una grande biblioteca del Seicento e la Biblioteca Mazarine resta così, più di trecento e cinqanta anni dopo la sua creazione, una biblioteca aperta a tutti, curiosi o eruditi, francesi o stranieri.
