据《元和郡县志》方山县以城在方山之下，故名。战国时为赵国皋狼邑。西汉置皋狼县，故治在今县城南18千米南村堡，属西河郡。东汉建安十八年（213）属太原郡。东汉末废。西晋永兴元年（304）今县境左国城为匈奴刘渊所都，即十六国汉。后迁都平阳，故址在今临汾市尧都区境。北齐天保三年（552）于南村堡（今峪口镇南村）置良泉县，属离石郡。
北周建德六年（577）属石州。大象年间析离石县地置窟胡县、郡，故治在今方山县境。隋开皇三年（583）废窟胡郡，改窟胡县为修化县，属离石郡。大业三年（607）改良泉县为方山县，徙治今县城北14千米方山村。大业末年废修化县。唐武德二年（619）于县置方州，县属之。三年废方州，县改属石州。贞观十一年（637）县治徙今圪洞南5千米古贤村。
1996年，方山县面积1434平方千米，人口约13万人。辖4镇7乡：圪洞镇、马坊镇、峪口镇、大武镇、开府乡、方山乡、麻地会乡、石站头乡、张家塔乡、下昔乡、店坪乡。县政府驻圪洞镇。
2000年第五次人口普查，方山县常住总人口135598人，其中，圪洞镇31746人，马坊镇9769人，峪口镇20860人，大武镇23205人，开府乡7554人，方山乡8159人，麻地会乡9867人，下昔乡7209人，店坪乡7413人，张家塔乡5939人，石站头乡3877人。
2001年，区划调整后，全县辖5个镇、2个乡：圪洞镇、马坊镇、峪口镇、大武镇、北武当镇、积翠乡、麻地会乡。县政府驻圪洞镇。
2010年第六次人口普查，方山县常住总人口143809人，其中，圪洞镇43409人，马坊镇16652人，峪口镇25530人，大武镇34315人，北武当镇5846人，积翠乡8510人，麻地会乡9547人。
2014年末，全县常住人口146593人。2015年末，方山县辖5个镇、2个乡（合计7个），1个居委会、169个村委会（合计170个）。
