很少有人知道，“图书馆”是一个地道的舶来词——1896年，当梁启超根据日语将该词翻译出来的时候，对于绝大多数中国人来说，它还是一个难以想象的概念。中国人是热爱书的，然而在历史长河里，崇高而神圣的书籍，一直被看作是需要“藏”之于高阁的财产。扮演着与“图书馆”相近角色的是“藏书楼”。据文献记载，大概在北魏年间，中国出现了最早的私人藏书楼。此后的1500年中，中国相继出现过几千座藏书楼，其中有一定影响的达一千多座。
南宋乾道三年(1167年)，建于“广府学宫”内的“御书阁”，是有文字记载以来广州最早的藏书楼。光绪十三年（1887年）张之洞创办的广雅书院，兴建“冠冕楼”，藏书不下2672部、计43555册。光绪年间，广州有“南孔北方”的说法：城南的孔广陶，藏书楼名为“三十三万卷楼”，城北的方柳桥，有“碧琳琅馆”。
清末民初，藏书家就更多了，著名的有梅州黄遵宪的“人境庐”、南海康有为的“万木草堂”、新会梁启超的“饮冰室”。南海潘明训的“宝礼堂”、东莞莫天一的“五十五万卷书楼”、番禺徐绍启的“南州书楼”，可谓鼎足而三。
这些藏书楼都遵循一个原则：以藏为主，不对公众开放。当时大名鼎鼎的江南“天一阁”规定：“代不分书，书不出阁。”子孙不得无故开门入阁，更不得私领亲友入阁。有幸看过天一阁藏书的，不过黄宗羲等寥寥数人。
这样的情况，从上世纪初开始起了变化。1902年，曾任兵部郎中的徐树兰出资32960两白银，在自己的家乡绍兴的古贡院买了一亩六分地，建造了一座“古越藏书楼”。1904年，古越藏书楼正式向公众开放，人们凭牌进楼，对号入座。徐树兰还特意写了4000字的《古越藏书楼章程》，申明借阅方法“仿照东西方各国图书馆章程办理”。这是中国公共图书馆历史的开端。
而实际上，根据有关记载，康有为和梁启超于1895年在广东组织“粤学会”时，已设有“书藏”，为了有效宣传维新思想而对外开放。宣统年间，梁鼎芬在广州榨粉街梁宅开办“梁祠图书馆”，甚至开始订立章程，并且销售相当于借书证性质的“券”——每券价值铜币四枚。而广东正式采用“图书馆”这个名称，则是1909年以后的事情。
1909年12月，清廷颁布《京师及各省图书馆通行章程》，同年发表的《预备行宪分年筹备事宜》，又规定宣统二年各省一律要开办图书馆。
宣统二年，时任广东提学使的沈曾桐，命学务公所图书科科长冯愿，以广雅书局为基础，筹办广东图书馆。沈曾桐想必是决心籍此机会在广东好好地发展一番图书馆事业的。因为根据当年的《广东省分年筹备专门、普通、实业等学堂预算经费列表》计划：宣统三年，拨款8万余两筹建“图书博物馆”，5年后，再拨款7万余两在潮州建一座分馆。
生逢乱世，完美而宏大的计划没有时间按部就班地实现。实际上，广东图书馆开始筹办不久，辛亥革命爆发，清王朝随之轰然倒塌。好在，后任广东都督的胡汉民，仍坚持实现这一美好的愿望，命冯愿继续筹办此事。
“又半岁而始蒇事。”广雅书局广东图书馆于民国元年（1912年）布告开馆。这一筹建过程横跨两个朝代的图书馆，位于广州府城文明门外聚贤坊，在东濠（玉带河）北滨。沈曾桐还在广雅书局十峰轩的右侧耗资5万两另购新地，为广东图书馆兴建藏书楼一座，命名为“红楼”。红楼四周都是回廊，面水而立，楼上为书库和办公室，楼下为两个阅览室。
省馆建馆之初，藏书系以广雅书局库藏及广雅书院“冠冕楼”之复本为基础，又从日本购得释藏一部。至1915年，藏有善本432部，普通书2036部，新译书597部，合为3065部，约有万册。 此后的数十年间，省图在时局动荡中几经停办。后来，省图复原广州，此时原馆址已被省保安司令部、省建设委员会等捷足先登，后经多方交涉虽然得以收回，但当年气势壮观的红楼五分之三的房舍，依旧为妇女委员会和盐政局等占用。时任馆长的著名图书馆学家杜定友站在院子里惋惜地大叹：“所有古迹牌匾，文物石刻，惨遭磨灭。”