战国属魏之汲邑。西汉高祖二年（公元前205年）置汲县，县因邑名。唐置卫州，元置卫辉路，明、清称卫辉府。1948年设立汲县。1988年10月8日，国务院批准撤销汲县，设立卫辉市。
1996年?，卫辉市面积882平方千米，人口46.3万人。辖7个镇、9个乡：城关镇、后河镇、李源屯镇、太公泉镇、孙杏村镇、上乐村镇、唐庄镇、安都乡、大池山乡、狮豹头乡、顿坊店乡、柳庄乡、庞寨乡、倪湾乡、城郊乡、东拴马乡。市政府驻城关镇。
2000年第五次人口普查，卫辉市总人口464371人，其中：汲水镇59042人、太公泉镇29624人、孙杏村镇35252人、后河镇29948人、李源屯镇49822人、唐庄镇39130人、上乐村镇32363人、东拴马乡4582人、狮豹头乡8331人、大池山乡3644人、安都乡31872人、顿坊店乡Z9407人、柳庄乡33123人、庞寨乡23816人、倪湾乡13311人、城郊乡41104人。
2005年，卫辉市乡镇区划调整：撤销大池山乡、东拴马乡，将两乡行政区域划归狮豹头乡管辖，狮豹头乡政府驻地不变；撤销倪湾乡，将其行政区域划归城郊乡管辖，城郊乡政府驻地不变。调整后，卫辉市辖7个镇、6个乡：汲水镇、后河镇、李源屯镇、孙杏村镇、太公泉镇、上乐村镇、唐庄镇；城郊乡、庞寨乡、柳庄乡、安都乡、狮豹头乡、顿坊店乡。
2008年，太公泉镇更名为太公镇。
