据传唐代涧河泛滥，有神马降临，退水救民；为感念神马义举，遂建“义马庙”，由此而得名。一说本为驿马，义马似由驿马而得名。又传唐秦琼在此饮马，后“饮”演为“义”，故名。市境原为渑池县地，1970年成立义马矿区。1981年设立义马市，由洛阳地区代管，1986年归三门峡市代管。
1995年，报经河南省人民政府批准，千秋乡撤乡设镇。千秋镇辖付村、梁沟、石门、郭庄、二十里铺、三十里铺、马岭、礼召、裴村、千秋10个村民委员会、97个村民小组；行政区域与设镇前的乡相同，未调整变更。
1996年，经河南省政府批准，常村乡撤乡设镇。常村镇辖常村、苗元、石佛、郭庄、湾子、义马、南河、河口、程村、马庄10个村民委员会、79个村民小组；行政区域与设镇前的乡相同，未调整变更。区划调整后，义马市辖4个街道、2个镇：千秋路街道、朝阳路街道、常村路街道、新义街街道、千秋镇、常村镇。全市面积112平方千米，人口约13.6万人。市政府驻千秋镇。
1999年，经三门峡市政府批准，设立泰山路街道。办事处下辖移民一、移民二、移民三、移民四、河东、桥头6个居委会。调整后，义马市辖5个街道、2个镇。
2000年第五次人口普查，义马市总人口136543人，其中：千秋路街道34051人、朝阳路街道14222人、新义街街道23314人、常村路街道10439人、泰山路街道7018人、千秋镇28509人、常村镇18990人。
2005年，义马市乡镇区划调整：撤销千秋镇、常村镇，改设2个街道。2005年末，义马市总人口161016人，辖7个街道：千秋路街道、朝阳路街道、新义街街道、常村路街道、泰山路街道、新区街道（新增）、东区街道（新增），共有31个居委会、20个村委会，179个村民小组。（数据根据《三门峡市行政区划简册》）
