桃山区，以境内桃山得名。中华民国时期，属勃利县管辖，初隶南乡，后改隶小五站镇。东北沦陷后，隶属十一甲。1938年5月，日本侵略者强占民地，设立桃山开拓点。1945年“九三”抗日战争胜利后，隶属勃利县第五区管辖，1948年3月划归新增设的七台河区，1951年2月改为第十二区，1955年5月复改为七台河区。1956年3月，撤区划乡，隶属七台河乡管辖。
1958年9月，并入七台河人民公社，同年底划归七台河矿区公社管辖，1960年3月改隶七台河镇公社，“政企合一”。1961年5月，政企分开。1965年2月，划归七台河特区管辖，1970年4月改隶七台河市。同年5月，设立市属桃山街道办事处，1973年6月并入红旗公社。1978年9月，市政府自北山迁至桃南（今桃山区）。1981年10月，复设桃山街道办事处。1984年1月20日，省政府批准，设立桃山区。
1992年末，桃山区位于七台河市境西部，东与茄子河区毗邻，西与新兴区接壤，南部和北部与勃利县分界，为市政府驻地。全区总面积74.3平方千米，总人口10.6万人，其中非农业人口8.1万人；满、回、蒙古等少数民族人口约占12%。辖桃西、桃北、桃南、新岗4个街道和桃西乡。区政府驻地桃南街。（以上摘自《黑龙江省志・地名录》，有改动）
1996年，桃山区面积76平方千米，人口12万人。辖6个街道和1个乡：桃西街道、桃北街道、桃南街道、兴岗街道、桃东街道、桃山街道、桃西乡。区政府驻大同路。
2000年第五次人口普查，桃山区总人口157484人，其中：桃南街道33956人，桃北街道31984人，桃东街道26836人，桃西街道17860人，桃山街道12281人，兴岗街道13461人，万宝河镇21106人。
