南京大学图书馆历史源远流长，其发展可上溯至20世纪初，建立的中央大学图书馆和金陵大学图书馆。中央大学图书馆肇始于清光绪二十八年（1902年）清政府创办三江师范学堂，三江师范学堂设藏书楼，荟萃中外书籍和各种图册，以供师生浏览。清光绪三十一年（1905 年），学校更名两江师范优级学堂，至1913年二次革命时，乱兵土匪乘机掠夺，校产荡然，书籍亦仅存十之一二。1915年成立南京高等师范学院，1920年 更名为东南大学。1923年东南大学图书馆馆舍毁于火，图书同烬。
1924年，齐孟芳先生捐资建成新馆，曾命名为“孟芳图书馆”，1928年去齐氏名，仍随学校命名。1927年学校更名为第四中山大学，1928年复更名江苏大学，旋又改称中央大学，图书馆亦随学校易名。1924年后，中央大学图书馆的藏书逐渐丰富，至1937年5月，已有中外文书刊共计407203册，其中中文图书117846册。
金陵大学图书馆源自1888年起，美国教会在南京建立的汇文、基督和益智等书院，后经几次合并，于1910年成立金陵大学堂，1915年改名金陵大学校，不久改称金陵大学，并于1916年迁至鼓楼新址。
1910年，金陵大学堂图书馆在原各书院图书室的基础上建成，当时仅有西文书2250册。因金陵大学是教会学校，故受历次动乱影响较小，图书馆藏书建设发展较稳定。 至1927年11月收回教育权运动后，学校基本脱离了教会，改归教育部主管。
1929年建立了文、理、农三学院及中国文化研究所等教学科研机构，图书馆藏书也从数量到质量都有了较大的提高。1937年6月统计藏书量已达322369册，其中中文图书有106769册，与当时国立中央大学图书馆藏书基本上旗鼓相当。
1937年7月抗日战争全面爆发，南京各机关学校奉命内迁。中央大学因早有准备，故图书设备均基本搬迁，但辗转于战乱之世，难免流离损失严重。到重庆后，又进行了补充，至1944年统计，已有中文藏书121679册。金陵大学因与教会渊源很深，故一度存有幻想，及至形势紧迫，乃仓促西迁，图书仅运出十分之一，而留存南京校区的图书于1942年被伪立中央大学占用，故已荡然无存。抗战时期，在成都虽努力补充，但一时难以恢复，至1943年统计，中文藏书仅有16368 册。1949年中央大学改名为南京大学，1952年南京学区院系调整，金陵大学图书馆文理科藏书并入南京大学，调整后的南京大学图书馆有藏书共73万余册。
在南京大学图书馆的历史上，著名图书馆学家刘国钧、 李小缘、施廷镛和国学大师胡小石等诸先生，先后主持过馆务。上世纪 80 年代初期，1.95 万平米的新馆落成。 2001年6月，为迎接南京大学百年校庆，进行了扩建改造 , 馆舍面积增至 2.21 万平方米。
1994 年，建立浦口校区分馆， 至2007年，分馆藏书已达到34万册。 2007年5月，面积 3.05万平方米的浦口校区新馆—思源图书馆建成并开放。至2007年12月止，全馆（含浦口校区思源图书馆）共有阅览室20个，阅览座位 3000 席，馆舍总面积约5万平方米，工作人员130余人。
南京大学图书馆馆藏丰富，经长期积累，形成了比较系统、完整的综合性的藏书体系。至 2007 年底，总藏书量达到 491.70 万册（含院系资料室）。馆藏古籍线装书近 40 万册，其中善本古籍有3000余种、 3 万余册。地方文献、古代目录学文献以及丛书的收藏已形成特色。古代地方志共收藏有 4000 余种，近4万册，在全国各大图书馆中处于领先地位。本馆收藏了多个国家和地区的多个语种的期刊，尤以物理、生物、地学、数学为特色。1949年以前的中文社会科学书刊与自然科学收藏也比较丰富。
近年来，本馆加大了发展电子文献的力度，购买了多种网络数据库、光盘数据库。至2007年底，可提供利用的电子全文包括：中文期刊 16529 种、外文期刊 17272 种、中文图书 54 万种、外文图书 26.50 万种，外国硕、博士学位论文 10 万余篇。
