原为凤台县金石乡，1949年设八公山镇。1953年撤镇设八公山区。
1996年，八公山区面积73平方千米，人口约16.4万人，辖3个街道、2个镇：新庄孜街道、土坝孜街道、毕家岗街道、八公山镇、山王镇，48个居委会、19个村委会。区政府驻新庄孜。
2000年第五次人口普查，八公山区常住总人口166452人，其中：新庄孜街道52748人，土坝孜街道26658人，毕家岗街道21161人，山王镇49406人，八公山镇16479人。
2004年末，八公山区辖3个街道、2个镇：八公山镇、山王镇，土坝孜街道、新庄孜街道、毕家岗街道。
2010年第六次人口普查，八公山区常住总人口175993人，其中：新庄孜街道53156人，土顼孜街道30471人，毕家岗街道19374人，八公山镇21971人，山王镇49520人，妙山林场1501人。
2013年10月1日，将凤台县的李冲回族乡整建制和城关镇淮河以南的芦塘、西魏、淮丰、胜利、拐集、灯塔、山赵、夏湾、淮滨、黑龙潭10个社区（即凤台经济开发区）正式划归淮南市八公山区管辖（2013年12月31日省政府批准同意上述调整）。
2013年末，全区辖3个街道、2个镇，23个社区、27个行政村（不含凤台县划入区域数据）。
2015年7月1日，将八公山区的李冲回族乡、凤台经济开发区及管理的社区正式划归凤台县管辖（淮[2015]66号）。
