据《元和郡县志》，汾西县名取义城当汾水西岸。西汉置彘县，东汉为永安县。北魏于今县境置汾西郡。北齐于今城关南25千米申村置临汾县、郡。北周于今城关西北回城、云城2村间别置新城县，属临汾郡。隋开皇初年废郡。三年（583）改临汾县为汾西县，十年新城县废入汾西县，先后属汾州、吕州、晋州、霍山郡。
唐贞观六年（632）徙今治。宋属平阳府。金属霍州。元属晋宁路。明、清属平阳府。1949年属临汾专区。1954年属晋南专区。1958年与霍县合并为霍汾县，后又并入洪洞县。1961年复置汾西县，属晋南专区。1967年属晋南地区。1970年属临汾地区。2000年属地级临汾市。
2015年末，汾西县辖5个镇、3个乡（合计8个），6个居委会、120个村委会（合计126个）。
