古为承阳、临蒸、衡阳、清泉等县治所，为衡阳郡、州、路、府、道的行政中枢。1943年始置衡阳市，为第三区。1951年改第二区，1955年改称城北区。
1996年，城北区面积13.7平方千米，人口约20万人，区政府驻司前街，辖6个街道：人民街道、五一街道、合江街道、青山街道、蒸湘街道、潇湘街道。
2000年第五次人口普查，城北区常住总人口233674人，其中，人民路街道21985人、青山街道39665人、蒸湘街道87670人、潇湘街道33916人、五一街道30028人、合江街道20410人；此外，郊区的黄沙湾街道5368人、西湖乡27788人、松木乡17082人，衡阳县的角山乡24848人。
2001年4月4日，国务院批准（国函[2001]34号）：撤销衡阳市江东区、城南区、城北区、郊区，设立衡阳市珠晖区、雁峰区、石鼓区、蒸湘区。石鼓区因境内石鼓山而得名。辖原城北区的人民路、潇湘、青山、五一、合江5个街道和原郊区的黄沙湾街道、松木乡、西湖乡的五一、建设、友爱、江霞4个村（建设村划归五一街道管辖，五一、友爱、江霞3村划归合江街道管辖）以及原属衡阳县的角山乡。区政府驻司前街42号。原城北区的蒸湘街道划归蒸湘区。
2008年，区政府迁至衡阳市西外环路。2008年末，全区总面积112平方千米，总人口24万余人。辖6个街道、2个乡：人民路街道、青山街道、潇湘街道、五一街道、合江街道、黄沙湾街道、松木乡、角山乡。共有28个行政村、43个社区。
2010年第六次人口普查，石鼓区常住总人口231592人，其中，人民路街道27326人，青山街道41608人，潇湘街道48262人，五一街道33491人，合江街道25312人，黄沙湾街道9410人，松木乡19744人，角山乡17113人，松木工业园9326人。
2011年，将松木乡的新安、金兰、新竹3个建制村和松木、松梅、友谊3个建制村的部分区域析出，设立金源街道（湘民行发[2011]4号）。调整后，石鼓区辖7个街道、2个乡：人民路街道、青山街道、潇湘街道、五一街道、合江街道、黄沙湾街道、金源街道、松木乡、角山乡。金源街道辖3个居委会、3个行政村，面积18.7平方公里，人口0.84万人，街道办事处驻新枫路；松木乡辖9个行政村，面积33.1平方千米，人口1.27万人，乡政府驻地不变。
2015年11月18日，省民政厅（湘民行发[2015]29号）批复同意：松木乡、黄沙湾街道成建制合并设立黄沙湾街道。调整后，全区辖7个街道、1个乡：人民路街道、青山街道、潇湘街道、五一街道、合江街道、黄沙湾街道、金源街道、角山乡。总面积112平方千米，总人口23.82万人。区政府驻黄沙湾街道湘江东路。
