麻山区，以境内麻山得名。清末，属穆棱县管辖。中华民国时期，逐渐形成麻山、吉祥两个村庄，隶属穆棱县第四区管辖。东北沦陷后，初设麻山甲、吉祥甲，隶属奎山保。1938年1月，改隶奎山村。1939年6月，随奎山等村划归林口县管辖。由于林密线铁路通车及煤炭的开发，人口逐渐增加。1945年“九三”抗日战争胜利后，1947年4月，林口县设置麻山区。1956年撤区划乡，设置麻山乡。1957年1月，划归鸡西市管辖，设置麻山区。
1992年末，麻山区位于鸡西市境西部，东北与滴道区相连，东南与梨树区分界，南与穆棱县接壤，西与林口县毗邻。全境总面积410.8平方千米。总人口3.6万人，其中非农业人口1.9万人；满、朝鲜等少数民族人口约占6%。辖麻山街道和麻山乡。区政府驻地中心路，距市中心鸡冠区40千米。（以上摘自《黑龙江省志·地名录》，有改动）
1996年，麻山区辖1个街道、1个乡：麻山街道、麻山乡。2000年第五次人口普查，麻山区总人口34500人，其中：麻山街道17204人、麻山乡17296人。
2001年，麻山区开展了并村并委工作，将原来的22个行政村合并为16个，将17个居民委合并为7个社区。
2005年12月26日，撤销麻山乡，其行政区域归麻山区直辖（黑民区[2005]154号）。
