1938年,平江县民众教育馆在县城西街文圣庙设立图书室,收藏《万有文库》一套,连环图画近千册,已初具规模,是为平江县图书馆的前身。解放后,县人民政府接管民众教育馆,建立文化馆,下设图书馆迁至南街景福坪,其时已收藏了《四库全书》、《古今图书集成》的部分卷册和《二十四史》、《四部丛刊》等古籍3万余册。成为平江人民的一大财富。遗憾的是在文革期间竟遭浩劫,损毁愈半。1978年,该图书馆与文化馆分离,正式成立平江县图书馆,在县城中心南街299号定址。1994年,由美籍华人欧阳遇女士基金会捐资60万元,加上部、省、县财政拨款,改旧建新,故又名欧阳遇图书馆。新馆设计新颖,气势宏伟,布局合理,建筑面积2500平方米。设有外借室、少儿阅览室、期刊报纸阅览室、咨询室等服务窗口;专辟古籍典藏室、地方文献室、工具书库;馆藏图书9万8千册。