14 сентября 1899 г. была открыта Саранская народная бесплатная библиотека-читальня, от которой и берёт своё начало Национальная библиотека им. А. С. Пушкина Республики Мордовия. Основой создания библиотеки послужило прошение группы интеллигенции г. Саранска Саранскому Городскому Голове.
Библиотека была открыта в год 100-летнего юбилея А. С. Пушкина и послужила увековечению имени великого поэта в г. Саранске. Первые несколько лет библиотека находилась в помещении городского ломбарда. Позже – занимала комнату в здании Городской Управы. К моменту открытия библиотека насчитывала 353 книги. В первые четыре месяца было обслужено 450 человек.
Заведование читальней и выдачу книг приняли на себя Е. Л. и Л. Л. Токаревы, Е. Д. Фалилеева и А. А. Масловская.
Народная бесплатная библиотека читальня соединяется с Публичной библиотекой и становится Саранской центральной уездной библиотекой. После слияния фондов образуются три отдела: научной, художественной и детской литературы.
В тяжёлые годы после Гражданской войны уездная библиотека организовывала литературные вечера, чтение лекций и докладов, оформлялись рекомендательные списки литературы, выпускался настенный плакат «Литературный календарь».
При библиотеке организован литературный кружок. За шесть месяцев в нём состоялось сорок заседаний. Для привлечения читателей в 1922 году был организован «Почтовый ящик», а с февраля 1923 года ответы на вопросы читателей стали оформляться в виде рукописного журнала «Отклики читателей». В детском отделе созданным кружком рассказчиков выпускается журнал «Звёздочка». Библиотека становится центром организационной и методической помощи для библиотек Саранского уезда.
В 1928 году библиотека становится Центральной окружной, в 1930 – Областной, в 1935 году – Республиканской.
В 1939 для библиотеки построено специальное здание (ныне в нём размещается Республиканская детская библиотека). В структуре библиотеки выделены два зала: читальный и периодики, абонемент. Библиотека получает и регистрирует местный обязательный экземпляр, ей присвоено имя А. С. Пушкина. В строительстве библиотеки большую помощь оказала Н. К. Крупская. Надежда Константиновна телеграммой поздравила директора библиотеки В. В. Холопову с окончанием строительства и от имени Народного Комиссара просвещения вынесла ей благодарность и премировала библиотекой в 500 книг.
С первых дней войны библиотека перестраивает свою работу: её сотрудники идут в госпитали, на оборонные предприятия и торфоразработки. При библиотеке действует пункт приёма тёплых вещей. Были открыты филиалы на призывном пункте военкомата, 27 передвижек в сёлах и районных центрах, два филиала и три передвижки в госпитале. С февраля 1943 по февраль 1945 года при библиотеке работал филиал Госфонда литературы Наркомпроса РСФСР.
С 1958 года в соответствии с Приказом Министерства культуры СССР № 15 на библиотеку возложены функции Книжной палаты. С этого года началась систематическая работа над ежегодным государственным библиографическим указателем «Летопись печати Республики Мордовия».
Наращиваются темпы по обслуживанию различных категорий читателей: научных работников, специалистов народного хозяйства, работников советского и партийного актива, инженерно-технических работников, врачей, работников искусства, рабочих, студентов и учащейся молодёжи. Ежегодно совместно с филиалом Горьковской ЦНТБ проводятся декады технической и экономической книги. В 50-е годы библиотека организует массовые мероприятия на новых предприятиях города, которые в то время ещё не имели своих библиотек.
Библиотека ставит перед собой задачу по сбору полного национального репертуара отечественной и зарубежной печатной продукции. Ведётся целенаправленный поиск опубликованных документов о мордве, отсутствующих в её фондах. Налаживаются книгообменные контакты с Венгрией, Финляндией, Эстонией. Заключены договоры о творческом сотрудничестве с библиотеками финно-угорских регионов.
С целью изучения проблем чтения национальной литературы на территории Мордовии и за её пределами проведено социологическое исследование «Мордовская книга и читатель». По итогам изданы два выпуска указателя «Ядро фонда национальной и краеведческой литературы». В 1991 году проводится научно-практическая конференция «Мордовская книга и читатель». С этого же времени библиотека приступает к активному процессу автоматизации.
11 марта 1991 года Постановлением Совета Министров Мордовии Республиканская библиотека получила статус Национальной. Принятый в том же году Устав уточнил и детализировал её задачи и функции как центральной библиотеки Республики Мордовия.