西汉初汉置县。因在蒙山之阴（北）得名。曾名蒙恩县、新泰县。
1994年11月10日，撤销高都乡，设立高都镇。1995年7月24日，撤销桃墟乡、野店乡、设立桃墟镇、野店镇。
1996年，蒙阴县面积1601.6平方千米，人口51万人。辖8个镇、7个乡：蒙阴镇、坦埠镇、岱崮镇、垛庄镇、桃墟镇、高都镇、野店镇、常路镇、巨山乡、旧寨乡、北贾庄乡、重山乡、界牌乡、常马乡、联城乡。县政府驻蒙阴镇。
1996年12月25日，撤销界牌乡，设立界牌镇，行政区域和人民政府驻地不变（鲁政函民字[1996]55号）。
2000年第五次人口普查，全县总人口535070人，其中：蒙阴镇125055人，常路镇33442人，岱崮镇41647人，坦埠镇32254人，垛庄镇35309人，高都镇32375人，野店镇35646人，桃墟镇42472人，界牌镇26043人，联城乡31026人，常马乡15249人，北贾庄乡10271人，旧寨乡37633人，重山乡9892人，巨山乡26756人。
2000年12月29日，撤销巨山乡，将其行政区域并入蒙阴镇；撤销常马乡，将其行政区域并入联城乡；撤销北贾庄乡，将其行政区域并入岱崮镇；撤销重山乡，将其行政区域并入界牌镇（鲁政函民字[2000]94号）。即蒙阴县由9个镇、6个乡调整为9个镇、2个乡：蒙阴镇（巨山乡）、常路镇、岱崮镇（北贾庄乡）、高都镇、垛庄镇、坦埠镇、界牌镇（重山乡）、联城乡（常马乡）、旧寨乡、野店镇、桃墟镇。（括号内的为被撤并的乡镇）
2002年末，蒙阴县辖9个镇、2个乡：蒙阴镇、常路镇、岱崮镇、坦埠镇、垛庄镇、高都镇、野店镇、桃墟镇、界牌镇、联城乡、旧寨乡。（587个行政村）
2010年，撤销蒙阴镇，设立蒙阴街道；撤销联城乡，设立联城镇。调整后，全县辖1个街道、9个镇、1个乡：蒙阴街道、常路镇、岱崮镇、坦埠镇、垛庄镇、高都镇、野店镇、桃墟镇、界牌镇、联城镇、旧寨乡。县政府驻蒙阴街道。
2011年11月，撤销界牌镇，并入垛庄镇。调整后，蒙阴县辖1个街道、8个镇、1个乡：蒙阴街道、常路镇、岱崮镇、坦埠镇、垛庄镇、高都镇、野店镇、桃墟镇、联城镇、旧寨乡。县政府驻蒙阴街道。
