原称“南岗”，因设南岗采炭所得名。后因南岗采炭所改称南山矿，故改名“南山”。原属汤原县管辖，1939年6月划归鹤立县管辖，隶属兴山街。1946年设立南山区，隶属兴山市管辖。1948年撤销南山区。1949年11月，改隶鹤岗市。1954年设立南山街道办事处。
1958年11月为南山经济区、大陆经济区。1960年12月10日，省人民委员会批准，正式设立南山区、大陆区。1966年8月31日，鹤岗市人民委员会批准，分别改称东风区、跃进区。1980年4月24日，省人民政府批准，将东风、跃进两区合并为南山区。
1992年末，南山区位于鹤岗市区南部，东与东方红乡毗连，南、西南分别与兴安区、红旗乡接壤，西、西北与工农区分界，北与向阳区为邻。总面积25平方千米。总人口13.5万人，其中非农业人口12.3万人；少数民族有回、满、朝鲜族等。区政府驻地南山路中段。辖铁东、铁西、大陆、六号、富力、鹿林山等6个街道。（以上摘自《黑龙江省志·地名录》，有改动）
1996年，南山区辖6个街道：大陆街道、铁东街道、铁西街道、六号街道、富力街道、鹿林山街道。
2000年第五次人口普查，南山区总人口132464人，其中：铁西街道17924人、铁东街道23711人、六号街道19874人、大陆街道22947人、富力街道21361人、鹿林山街道26647人。
