隋开皇十年，文帝“巡幸开道，得瑞石，遂于谷口置县，因名‘灵石’。”。一说，相传大禹治水在此“打开灵石口，空出晋阳湖”。
春秋时属晋；战国时先赵后魏；秦汉时，先属太原郡，后属河西郡；三国时属魏；晋时属西汉郡。隋初属平周县（今介休县），开皇十年（590年）割平周县西南地置灵石县。唐武德初年属吕州，贞观十七年（643年）属汾州，开元十一年（723年）属太原府。宋至道三年（997年）属河东路汾州，政和六年（1116年）属霍州。
金天会元年（1123年）属汾州，贞佑三年（1215年）改属霍州，四年还属汾州。蒙古初年析灵石县地置小灵石县，故治在今城关北25千米冷泉关，世祖至元二年（1265年）废入介休县。顺帝至元二十三年（1286年）县改属霍州。明万历二十三年（1595）属汾州府，四十二年属平阳府。清乾隆三十七年（1772年）属霍州。
民国三年（1914年）属河东道，民国十九年（1930年）废道直属山西省。1939年析汾河以东地区置汾东县，属太岳区。1946年析置灵西县，属吕梁行署。1948年复为灵石县。1949年属榆次专区。1958年并入介休县。1961年复置，属晋中专区。1967年属晋中地区。1999年属晋中市。
2014年末，全县常住人口268664人。2015年末，灵石县辖6个镇、6个乡（合计12个），35个居委会、287个村委会（合计322个）。
