Особенностью Биробиджана среди других городов России является то, что в 30-е годы двадцатого века здесь формировался центр еврейской культуры. Библиотеки изначально являлись важной составной частью общего проекта освоения новой территории.
Формируемая сеть включала в себя не только сельские библиотеки. Уже в 1929 г. в плане работы Общественного комитета по земельному устройству трудящихся евреев (ОЗЕТ) намечалось «собрать все мелкие библиотечки, создав одну общую библиотеку».
Таковой определили «библиотеку в Тихонькой (г. Биробиджан), которая должна была обслуживать книгами весь Биробиджанский район». В 1932 г. она стала называться районной. В 1933 г., еще при разработке перспектив развития Биробиджана, была сформулирована идея главных библиотек будущей автономии. Это Дом Книги (центральная библиотека), а также научная и национальная библиотеки.
Строительство автономии, в том числе и библиотек, велось при активном участии многих регионов, республик страны и заграницы. Комиссия по культуре при Центральном правлении ОЗЕТа обратилась ко всем республикам, Наркомпросам, издательствам с просьбой выделить средства и книги для организуемого ОЗЕТом книжного фонда. В 1928 г. в московской газете «Дер Эмес» было напечатано воззвание еврейского общественного деятеля В. Ионаса о создании книжного фонда для Биробиджана. Было принято постановление секретариата Всеукраинского ЦИК по оказанию помощи области, в котором Наркомпросу УССР было определено организовать в Биробиджане центральную библиотеку.
Библиотека в те годы была уже достаточно большой. Она располагала фондом 25 тыс. книг, в т ч на еврейском языке 5360 экз., выписывала 130 газет и журналов, имела детское отделение с фондом 1200 кн., читальню на 16 чел; число читателей 1567, около 30 тыс. книговыдач, 6 передвижек, штат из 5 человек, в т ч 4 библиотечных работников. Библиотека находилась, в небольшом деревянном доме на ул. Постышева (ныне это ул. Ленина), работала с 16 до 22 часов. Основу ее фонда составляли книги, подаренные библиотеками, издательствами страны: Москвы, Киева, Харькова, Минска, а также привезенными в деревянных чемоданчиках и заплечных узелках отважными «искателями счастья».
Многие регионы и республики страны в формате шефской помощи издавали для автономии разнообразную литературу. В фонде БОУНБ им. Шолом-Алейхема сохранилось много книг, изданных в 1930-1940 гг. в Москве, на Украине, в Белоруссии и Литве.
Многонациональным составом ЕАО объясняется необходимость уже в 1934 г. обеспечить областную библиотеку обязательным экземпляром книжной продукции не только на еврейском и русском, но и на украинском, белорусском, немецком, английском и корейском языках. С 1936 г. областная библиотека стала получать обязательный экземпляр печатной продукции. Международная общественность принимала участие в формировании фонда областной библиотеки. Американская организация ИКОР присылала книжные посылки из США. Поступали книги и из Польши.
В 1935 г. перед библиотекой была поставлена задача по созданию научного отдела, в котором собиралась вся литература и материалы об ЕАО. Тем самым было положено начало научной, краеведческой деятельности библиотеки.
В 1936 г. проводилась работа по перевозке библиотеки Украинской Академии наук в Биробиджан. Решением бюро обкома заместителю редактора журнала «Форпост» Ш. Клитенику было «поручено выехать в Киев для определения порядка перевозки библиотеки, а облисполкому обеспечить прием и размещение библиотеки».
Здесь не только собирались книги с разных уголков страны и мира, сюда стремились и удивительные люди. О первых директорах знаем очень немного. А о самых первых совсем неизвестно. Первые сведения есть с 1934 г., когда проводилась Всесоюзная библиотечная перепись. В государственном архиве ЕАО сохранились переписные листы, которые и сообщают краткие, но очень интересные сведения.
Для организации и руководства Биробиджанской центральной библиотекой в 1933 г. был послан Иосиф Хацкелевич Элиович (1903-1943), который заведовал Центральным всесоюзным архивом прессы при Киевском Институте еврейской пролетарской культуры. Окончил рабфак, библиотечный семинар народного Института еврейской культуры. Имел стаж библиотечной работы с 1923 г. с перерывом на один год службы в Красной армии. Проработал он в Биробиджане около 4-х лет. В конце 1936 г. уехал в Ленинград, был заведующим еврейским отделом в библиотеке им Салтыкова-Щедрина.
В небольшом доме библиотеки становилось тесно и книгам, и читателям. В 1940 г. было построено специальное здание по проекту биробиджанского архитектора Кобзаря. В этом здании библиотека размещается и сегодня. Тогда же, в целях увековечивания памяти еврейского писателя Шолом-Алейхема, Областной Совет депутатов присвоил библиотеке его имя.
В здании, рассчитанном на 100-120 тысяч единиц хранения, разместились книгохранилище, отдел комплектования и обработки литературы, несколько читальных залов, абонемент, еврейский фонд, зал детской литературы, организован методический уголок в помощь сельским библиотекам. Летом 1941 г. был открыт филиал читального зала в парке. В 1942 г. открылся передвижной отдел, а в 1946 г. на него были возложены функции межбиблиотечного и заочного абонементов. В 1948 г. образован методический кабинет, при котором в 1956 г. был организован обменно-резервный фонд.
В начале 1950-х гг. стала организовываться справочно-библиографическая работа, в 1956 г. оформлен справочно-библиографический пункт. В 1963 г. открылся отдел музыкальной литературы, в 1973 г. сектор сельскохозяйственной литературы.
В разное время в библиотеке работали известные в области и за ее пределами литераторы – писатель С. Боржес, поэтесса Л. Вассерман, журналисты Н. Корчминский, А. Володарский. Большую лепту внесли в становление и развитие БОУНБ директора Г.С. Соколовская, Б.Д. Бергер, Г.Л. Антонова и др.