Особая библиотека размещалась в здании для проведения народных чтений, построенном на средства тамбовского благотворителя обер-камергера Эммануила Дмитриевича Нарышкина (ныне ул. Советская, 97). Она действовала на основе Особых правил (отсюда ее название), утвержденных Министерством народного просвещения в декабре 1893 г. и отличавших ее от других публичных библиотек тем, что в ее фонде могли находиться изъятые и формально не разрешенные цензурой книги, выдававшиеся лишь особо благонадежным лицам для научных занятий и за плату. Из таких книг до наших дней сохранились, например, лондонское издание «Полярной звезды» Искандера, «О России в царствование Алексея Михайловича» Г.К. Котомихина (М., 1859), лейпцигские «Записки декабриста» А.Е. Розена (1870) и др.
Первоначально фонд Особой библиотеки составляли книги из собраний археолога и библиографа Дмитрия Васильевича Поленова и историка Тамбовского края Леонида Алексеевича Воейкова. Эти собрания, находившиеся ранее в с. Ольшанка (ныне Уваровский район) по завещанию Л.А. Воейкова были переданы в дар Тамбову его племянником Василием Дмитриевичем Поленовым в 1893 г.
От наследников историка искусств и писателя Алексея Владимировича Вышеславцева поступили книги по искусствоведению, репродукции картин из европейских галерей, несколько скульптур. Вдова Бориса Николаевича Чичерина Александра Алексеевна, посетившая в 1911 г. Особую библиотеку, передала завещанные покойным мужем 900 листов старинных гравюр русских художников.
В 1915 г. в печатном каталоге Особой библиотеки числилось 9825 названий общим числом более 16 тысяч томов.
С установлением Советской власти по Декрету о национализации 1918 г. Особая библиотека переходит в ведение Культурно-просветительной комиссии Губиспокома и в 1924 г. объединяется с Центральным губернским книгохранилищем (организовано в 1918 г. на базе Публичной библиотеки и Народной читальни), губернской библиотекой (организована в 1918 г.) в Центральную губернскую библиотеку (ныне Тамбовская областная универсальная научная библиотека имени А.С. Пушкина).