徳川家康が慶長7年(1602)、江戸城内の富士見の亭に文庫を設けたのに始まり、寛永16年(1639)城内紅葉山に移したのでこの名があります。献上本も納められています。(ほんちょうつがん)・徳川実紀など、幕府官撰書の浄書本や名家の自筆本が多くあります。寛永7年(1630)林羅山が上野忍岡(しのぶがおか)に書院を開いたのに始まり、元祿4年(1691)湯島の地に移り、寛政9年(1797)幕府の官学となり、「学問所」と改称されました。ここで歴史・地誌の編集を行った際の資料や、昌平坂学問所で出版した、いわゆる官版もほとんど揃っています。諸大名や学者からの入蔵も多く、大坂の町人木村蒹葭堂(けんかどう)や、近江国の大名市橋長昭(ながあき)、豊後国の大名毛利高標(たかすえ)の旧蔵書は特に優れたものです。塙保己一(はなわほきいち)が寛政5年(1793)に創立した和学講談所は、同7年(1795)官立に準ずる機関となりました。編修資料として多くの書物を集めたため、その旧蔵書ははなはだ数量も多くかつ学術的価値の高いものとなっています。幕府の医官多紀氏が明和2年(1765)創設した私塾躋寿館(せいじゅかん)は、寛政3年(1791)幕府直轄となり、医学館と改称しました。