Карамзинская общественная библиотека была открыта в Симбирске 18 апреля (ст. стиль) 1848 года как памятник великому русскому историографу Н.М. Карамзину на его родине. Инициаторами её создания выступили генерал П.Н. Ивашев и братья Языковы. За год до открытия библиотеки состоялось первое заседание комитета, его председателем был избран Пётр Михайлович Языков – человек энергичный, честный, образованный. Ко дню рождения Н.М. Карамзина – к 1 декабря 1847 года – была подготовлена материальная база будущей библиотеки, состоящая из четырёх тысяч томов книг, большую часть которых составляла личная библиотека поэта Николая Языкова, пожертвованная его братьями в пользу общества.

Пожар летом 1864 года практически уничтожил библиотеку и её книжные богатства: от многотысячного фонда осталось 80 книг. Часть из них была на момент пожара у читателей на руках, а часть – дома у библиотекаря И.И. Благодарова, работавшего над историческим очерком. Восстановить утраченные фонды комитет библиотеки под председательством В.П. Языкова решил к 1 декабря 1865 года – к 100-летию Н.М. Карамзина. Для этого обратились ко всей общественности страны. На этот призыв отозвались профессор-историк С.М. Соловьёв и академик М.П. Погодин, император Александр II распорядился выслать исторические труды из своей канцелярии, а его наследники-цесаревичи Николай и Александр пожертвовали тысячу рублей и 520 томов. Пожертвования поступили и от местных дворян: А.М. Языкова и его племянника А.П. Языкова, Д.П. Ознобишина, Д.И. Минаева и многих других.

В начале 1866 года библиотека переехала в восстановленный дом Дворянского собрания. Она пополнилась личными собраниями Н.М. Карамзина, И.А. Гончарова, Д.Д. Минаева, В.Ф. Одоевского, императора Александра III и других известных лиц.

Расцветом библиотеки стали 1880-е годы. 35 040 тысяч книг в год выдавалось на дом (залог 5 рублей), чтение в библиотеке было бесплатным. Большим спросом пользовался музыкально-нотный отдел.

В 1915 году по решению губернской учёной архивной комиссии Карамзинская общественная библиотека переехала в Гончаровский дом, а в 1918 году соединилась с народной библиотекой им. И.А. Гончарова.

В настоящее время библиотека работает как музей.