因境内盛产牡丹，且被誉为“牡丹之乡”，故名牡丹区。西周为曹国北境。秦属东郡。西汉为句阳（治所在今菏泽市北12千米小留镇）、葭密（治所在市区西北12千米葭密寨）、吕都等县地，均属济阴郡。东汉葭密、吕都2县省入句阳县，仍属济阴郡。北魏太和十二年（488年）于今市区置乘氏县，属济阴郡。大业末年废乘氏县。唐武德四年（621年）复置乘氏县，属曹州。北宋初属曹州，崇宁元年（1102年）曹州升为兴仁府，乘氏县属之。金大定六年（1166年）废乘氏县入济阴县，八年（1168年）济阴县城为黄河水淹没，曹州与济阴县遂徙治所于故乘氏县城（今菏泽市区）。
元济阴县仍属曹州。明洪武元年（1368年）省济阴县入曹州。二年徙曹州治所于今曹县城，四年降曹州为曹县。正统十一年（1446年）复于故乘氏县城置曹州。清雍正二年（1724年）曹州升为直隶州，十三年（1735年）曹州直隶州又升为曹州府，以原州治所在地置菏泽县以为府治。1913年菏泽县属岱南道（翌年更名济宁道）。1925年属曹濮道。1928年废道，直隶于省。1936年属国民党山东省第二行政督察区。
1941年2月抗日民主政权于巨野、菏泽毗连地区设巨菏县，属鲁西行政区第二专区。同年3月于县境南部成立菏泽县抗日政府，属冀鲁豫行政区第三（鲁西南）专区（同年7月改称冀鲁豫第七专区，9月改称晋冀鲁豫边区第二十二专区，1942年12月改称晋冀鲁豫边区第二十专区，1944年8月改称冀鲁豫行政区第十专区）。1942年9月于县境西北部、东明东部设立南华县，属鲁西南专区。同年12月巨菏县与郓南县合并为郓鄄巨菏四县边区（县），属晋冀鲁豫第十七（运西）专区；1943年11月郓鄄巨菏四县边改建为临泽县，仍属晋冀鲁豫第十七专区（1944年8月改称冀鲁豫第八专区）。
1944年12月又分为临泽、郓巨2县，此临泽县在今市境西北部，时临泽与南华2县均属冀鲁豫行政区第八（运西）专区第二办事处管辖。1945年11月南华县复属鲁西南专区。1946年1月28日于菏泽城区置菏泽市，直属冀鲁豫行政区，冀鲁豫行政公署驻此，同年11月撤销。1948年3月南华县又划归运西专区。同年11月临泽县改称菏泽县；原设于今市南境的菏泽县改称安陵县（县政府驻安陵集）；2县均属冀鲁豫行政区第五（鲁西南）专区。
1949年8月南华、安陵2县撤销，大部并入菏泽县，南华县之一小部并入东明县，菏泽县属新设的平原省菏泽专区。同年3月原属菏泽县的菏泽城关区升为县级，直属于冀鲁豫行政区，同年8月冀鲁豫行政区撤销，直属平原省菏泽专区，为专署驻地，至1953年8月改为菏泽城关镇，属菏泽县。1952年11月菏泽县随菏泽专区划归山东省。1958年12月菏泽专区撤销，改属济宁专区。1959年7月复置菏泽专区（1967年改称菏泽地区），菏泽县仍为专署驻地。1960年1月撤销菏泽县，设立菏泽市。1963年3月撤市复县。1983年8月撤销菏泽县，设立菏泽市。（以上摘自《山东省志》）
2000年6月23日，国务院批准，撤销菏泽地区和县级菏泽市，设立地级菏泽市。菏泽市设立牡丹区，以原县级菏泽市的行政区域为牡丹区的行政区域。
1989年2月24日，撤销菏泽市高庄、马岭岗、王浩屯、皇镇、黄和市郊6个农村办事处；撤销菏泽市马垓回族乡，将其行政区域划归胡集乡。1995年10月23日，撤销菏泽市牡丹乡、岳程庄乡，设立牡丹街道办事处、岳程街道办事处；撤销都司乡、吴店乡、大黄集乡，设立都司镇、吴店镇、大黄集镇。
1996年，菏泽市面积1400平方千米，人口约115万人，辖7个街道、14个镇、15个乡：丹阳街道、南城街道、北城街道、西城街道、东城街道、牡丹街道、岳程街道、黄岗镇、辛集镇、都司镇、高庄镇、金堤镇、小留镇、王浩屯镇、吴店镇、李村镇、马岭岗镇、安兴镇、大黄集镇、吕陵镇、沙土镇、杜庄乡、胡集乡、新兴乡、皇镇乡、何楼乡、佃户屯乡、贾坊乡、二郎庙乡、庞王庄乡、马村乡、解元集乡、李庄集乡、白虎集乡、刘寨乡、侯集乡。市府驻南城街道。
2002年末，牡丹区辖8个街道、13个镇、3个乡。
2010年第六次人口普查，牡丹区常住总人口1346717人，其中：东城街道71458人，西城街道58131人，南城街道64576人，北城街道49283人，牡丹街道61065人，丹阳街道101666人，岳程街道58944人，佃户屯街44620人，何楼街道70357人，万福街道44537人，沙土镇85006人，吴店镇48570人，王浩屯镇48230人，黄堙镇66150人，都司镇31441人，高庄镇56476人，小留镇47600人，李村镇52868人，马岭岗镇85107人，安兴镇40894人，大黄集镇42956人，吕陵镇51967人，胡集镇34397人，皇镇乡30418人。
