县因南岳衡山得名。据《今县释名》：“西北衡山，是为南岳，山如车盖及衡轭之形，故名。”
晋永熙元年（290）始设衡山县。南北朝宋大明八年（464）改为湘南县。齐建元元年（474）复改为衡山县，属衡阳郡。后朝因之。1966年先后划出部分地区，新设置南岳区、衡东县。
1996年，衡山县面积933.2平方千米，人口约39万人。辖8个镇、10个乡：开云镇、马迹镇、长江镇、白果镇、东湖镇、店门镇、萱洲镇、新桥镇、长青乡、永和乡、江东乡、师古乡、沙泉乡、岭坡乡、贯塘乡、贺家乡、望峰乡、福田铺乡。县政府驻开云镇。
2000年第五次人口普查，衡山县常住总人口381300人，其中，开云镇50784人，白果镇30396人，东湖镇18834人，萱洲镇18812人，长江镇29210人，新桥镇24516人，马迹镇11543人，店门镇26297人，贺家乡15800人，永和乡26276人，沙泉乡18087人，福田铺乡16111人，岭坡乡12074人，望峰乡10944人，长青乡17460人，贯塘乡16799人，江东乡16030人，师古乡21327人。
2005年，开云镇与师古乡合并设立新的开云镇（镇政府驻赵家大屋）。调整后，衡山县辖8个镇、9个乡：开云镇、白果镇、东湖镇、萱洲镇、长江镇、新桥镇、马迹镇、店门镇、贺家乡、永和乡、沙泉乡、福田乡、岭坡乡、望峰乡、长青乡、贯塘乡、江东乡。
2009年，将永和乡人民政府驻地迁移至新场市（湘民行发[2009] 1号）。
2010年第六次人口普查，衡山县常住总人口384196人，其中，开云镇80254人，白果镇30819人，东湖镇18113人，萱洲镇17149人，长江镇30479人，新桥镇27386人，马迹镇11409人，店门镇24961人，贺家乡15885人，永和乡25735人，沙泉乡15231人，福田乡15219人，岭坡乡12224人，望峰乡10053人，长青乡15654人，贯塘乡18104人，江东乡15521人。
2015年11月18日，省民政厅（湘民行发[2015]34号）批复同意：东湖镇、马迹镇成建制合并设立东湖镇。白果镇、长青乡成建制合并设立白果镇。岭坡乡、望峰乡成建制合并设立岭坡乡。萱洲镇和贺家乡成建制合并设立萱洲镇。开云镇、沙泉乡成建制合并设立开云镇。调整后，全县辖7个镇、5个乡：开云镇、白果镇、东湖镇、萱洲镇、长江镇、新桥镇、店门镇、永和乡、福田乡、岭坡乡、贯塘乡、江东乡。总面积934平方千米，总人口44.95万人。
