История возникновения первой специализированной музыкальной библиотеки связана с именем выдающегося деятеля русской музыкальной культуры Н. Г. Рубинштейна. В сентябре 1860 г. он передал музыкальным классам Московского отделения Русского Музыкального Общества (РМО) большую коллекцию нот и литературы из своей личной библиотеки.
В 1866 г., после открытия в Москве консерватории, именно эта частная коллекция Н. Г. Рубинштейна и составила основу будущей библиотеки.
Также библиотека была пополнена дарами княгини О.С. Одоевской, вдовы князя В.Ф. Одоевского, одного из учредителей РМО, до последних дней жизни принимавшего горячее участие в жизни консерватории, С.И. Танеева, чье имя носит библиотека, и других музыкантов.
Ещё одним человеком, который способствовал увеличению и расширению фондов библиотеки до революции, был известный издатель П. И. Юргенсон.
По его инициативе консерватория безвозмездно получала так называемые «обязательные» экземпляры всех педагогических нотных и книжных изданий издательства Юргенсона и других издательств.
В настоящее время фонды Научно-музыкальной библиотеки насчитывают около 1,5 миллионов экземпляров. Наиболее полно представлены произведения русских и советских композиторов и литература об отечественной музыке. Значительное место в фондах библиотеки отведено зарубежной музыке.
Типология изданий, представленных в библиотеке, разнообразна: ноты, книги по музыке, периодические издания, словари, энциклопедии, а также Справочно-информационный фонд (газетные вырезки, буклеты музыкальных конкурсов и фестивалей, концертные программы, неопубликованные материалы); дипломные и методические работы, диссертации.
Большой интерес представляет также собрание (около 20.000 экземпляров) редких изданий и рукописей древнерусской и западноевропейской музыки, именные коллекции, автографы, хранящиеся в Отделе редких изданий и рукописей.
Деятельность библиотеки Московской консерватории значительно шире деятельности обычных вузовских библиотек. Её абонементы и читальные залы обслуживают учащихся и педагогов других учебных заведений, не только российских, но и зарубежных, а также специалистов, работающих в области музыкального искусства: композиторов, музыковедов, артистов, работников средств массовой информации.
По статусу Научная музыкальная библиотека им. С. И. Танеева является «Информационным центром России по музыке» и осуществляет многоуровневое информационное обеспечение отрасли.
Информационно-библиографический отдел библиотеки консерватории совместно с отделом «Информкультура» Российской государственной библиотеки (РГБ) с 1974 по 2014 годы работали над изданием библиографического указателя «Музыка» (распространялся через сеть Роспечати как периодическое издание), с 1995 года создавался также и в электронном варианте (в виде Базы данных).
В настоящее время в проекте БУ / БД «Музыка» работает только НМБТ, она пополняет БД «Музыка» аннотированными библиографическими описаниями статей и других публикаций, обрабатывая музыкальные журналы (прежде всего, научные), сборники, издания Московской консерватории по истории и теории музыки, учебные материалы для музыкальных учебных заведений из фондов НМБТ.
Научные отделы библиотеки им. С. И. Танеева представляют информационные материалы по отечественной музыкальной культуре в международные библиографические базы данных и имеет доступ к ним:
RILM (современное музыкознание)
RISM (рукописи и старинные издания до 1350 г.)
RIPM (музыкальная периодика XIX в.)
В рамках проекта RIPM под эгидой IAML и ЮНЕСКО издано 20 русских томов с библиографическими материалами русских периодических изданий XIX — начала XX веков, в том числе, десятитомник «Русской музыкальной газеты». Работа в проекте продолжается.
С 1969 г. библиотека консерватории — постоянный член «Международной ассоциации музыкальных библиотек, архивов и информационных центров» (IAML), включающей в себя музыкальные учреждения и организации более чем 40 стран мира. В 2010 году в Москве прошёл Международный конгресс IAML, в подготовке и проведении которого НМБТ приняла большое участие вместе с РГБ, РБА и другими участниками.
В настоящее время ведётся работа над проектом нового здания библиотеки в рамках реконструкции зданий Московской консерватории.