春秋时期为北狄所居，战国时期为赵雁门郡楼烦县属地，秦属雁门郡，汉归陶县、阴馆县。后经历代沿革更名。唐属应州金城县。金大定七年（1167）始名山阴，意地处复宿山之北。金贞佑二年，升山阴为忠州，属西京道大同府。元后期复置山阴，属山西道大同路应州。
明称山阴县，属山西布政司大同府应州。清雍正八年（1730）直隶于大同府。1927年直隶于山西省。1946年6月24日，全县解放，属冀晋专署。建国初期属察哈尔省雁北专区。后随雁北专区划归山西省。1959年至1961年属晋北专区，后复归雁北专署。1989年划归朔州市。
2000年第五次人口普查，山阴县常住总人口217299人，其中，岱岳镇37572人，玉井镇13216人，北周庄镇12904人，山阴城镇15719人，吴马营乡5863人，史家屯乡2531人，马营乡6217人，偏岭乡3530人，冻牛坡乡2141人，下喇叭乡2983人，甘庄乡3983人，苑家辛庄乡4688人，合盛堡乡10803人，岱岳乡29556人，安荣乡6806人，泥河乡5652人，薛乡6927人，后所乡14338人，张庄乡8143人，黑圪塔乡5781人，马营庄乡15509人，山阴农牧场2437人。
2003年末，全县总人口218958人，其中市镇人口50395人，乡村人口168599人。
2011年4月19日，《山西省政府关于同意山阴县撤销岱岳乡设置岱岳镇的批复》（晋政函〔2011〕51号）同意撤销岱岳乡，设置岱岳镇，以原岱岳乡的行政区域为现岱岳镇的行政区域。
2015年末，山阴县辖4个镇、9个乡（合计13个），10个居委会、257个村委会（合计267个）。
