现在很少有人知道，长乐路富民路路口这座低调的建筑，曾经是在抗日烽火中为抢救历史文献创设的合众图书馆。在上海“孤岛”时期诞生的合众图书馆，在当代中国图书馆事业发展史上具有重要地位。
上世纪30年代，日军侵华，一场对中华文明的浩劫随之而来。“世界第三、远东第一”的东方图书馆和商务印书馆被炸毁，46万册藏书片纸不留。时任东方图书馆馆长、商务印书馆董事长的张元济先生痛心疾首，联合了爱国人士叶景葵、陈陶遗，建立了合众图书馆，力邀当时还在燕京大学图书馆工作的顾廷龙先生南下担任馆长（后为上海图书馆首位馆长）。1939年5月合众图书馆开始筹建时，以上海辣斐德路614号房屋为临时馆址。1941年1月开始，合众馆自建馆屋，9月1日新馆竣工，地址在长乐路746号，计3层18间，建筑面积1600平方米。建好后，5月即开始迁移。为了不受敌伪的干扰，“合众”没有开过正门，读者都是从富民路上的后门进出。长乐路、富民路口的馆舍一直延续到今天。
“合众”，取“众擎易举”之意，希望合众人之力，能够在乱世中给流离失所的历史文献一个相对安稳的家。作为私立图书馆，“合众”藏书大部分来自个人捐赠，从1939年筹备，到1953年捐赠给国家，合众图书馆共收集24万多册历史文献，包括丛书1800余种，地方志2000余种，诗文别集4000余种，还有各种罕见的文献资料。上海地区地方文献较为丰富，其他各方面的图书也相当充实，比如研究古代史和中世纪的资料。尤其可贵的是，合众图书馆对于进步书刊，包括共产党早期文献及革命史料，亦有收集。如1920年8月社会主义研究社出版的《共产党宣言》（陈望道译）、1921年版《列宁全书》、1924年工人之路社编的《十月革命七周年纪念》、1926年版《中国农民运动近况》、1931年以《指南针》伪装的《国际七月决议及最近来信》、1934年上海中国书店印的《第二次全苏大会文献》、1943年至1945年苏中三分区江潮报社编的《江潮报》等。还有毛泽东单行著作如《论持久战》《论联合政府》《新民主主义论》等。这些都是他处不常见之珍贵革命文献，其品种与数量，在国内外首屈一指。
合众图书馆在新中国成立前的十年之中，是非常艰苦的。币制迭更，币值日跌，物价飞涨，私立文化机构的维持，实在不易。在“合众”馆筹办前后，各处拟办和创办私立图书馆的不少，有的根本没有办成，有的办成之后，或不久即呈停顿状态，或不数年，书尽售去。合众图书馆能维持下来，都由于叶景葵、张元济等先生的苦心支持、尽力协助，特别是顾廷龙先生的精心筹措、积极应对，才度过了开办后最艰苦的十年。
1949年5月27日，上海解放，合众图书馆也获得了新生，进入了新的历史发展阶段。“合众”普通阅览室在1951年5月10日对外开放。1952年5月，“合众”开始酝酿向上海市人民政府有关部门的捐献事宜。1955年3月10日，上海市人民政府文化事业管理局正式下达关于合众图书馆改名为上海市历史文献图书馆的通知。1958年10月，上海市委宣传部决定上海图书馆、历史文献图书馆（合众图书馆）、上海科技图书馆、上海报刊图书馆（鸿英图书馆）四馆合并，仍名上海图书馆。由顾廷龙先生主持长达十几年的合众图书馆，称得上是中国近代以来私立图书馆的典范，在中国图书馆事业史上开辟了私立图书馆的新篇章。