衡阳市图书馆系市政府举办的纯公益性公共文化服务机构,是全省唯一成建制保存到建国后的市级公共图书馆,主要负责收集、整理、保存、开发、利用和传递文献资源,开展图书馆公共文化服务。1999、2004年连续被文化部评为国家一级图书馆、全国文明图书馆。衡阳市图书馆筹备于1917年,开馆服务于1921年,曾名衡阳县公立图书馆、省立衡阳图书馆、衡阳市船山图书馆,是全省唯一成建制保存到新中国成立后的市级公共图书馆。馆舍屡经迁徙,馆名多次变换,1966年定现名,1975年迁现址。在市委市政府的高度重视下,2009年启动全面维修改造,2010年7月恢复正常服务,2011年9月实行免费开放。衡阳市图书馆现有建筑面积6480平方米,内设报刊部、借阅部、采编与现代技术部、特色文献部、辅导活动部和办公室,对外服务窗口10个。馆藏图书56万余册,其中古籍和民国图书3.8万余册、衡阳名人著作等地方文献近2万册最具价值,藏书量和古籍善本存量居全省市州前列。衡阳市图书馆以播撒知识、传承文明为己任,为衡阳经济社会发展特别是文化事业发展发挥了不可替代的作用。