春秋战国属吴、越、楚。秦、汉分属余汗县地及太末县地，后汉建安年间（196－220）分属葛阳县地及新安县地，建安二十二年（217年）分新安立定阳县。晋属葛阳、信安县地。唐武德四年（公元621年）属弋阳、须江、常山县地。武周证圣元年（695年）析弋阳、须江及常山置玉山县，因境内有环玉山而得名，属衢州。
宋乾元元年（758年），属信州。元属信州路。明洪武四年（1317年）改隶江西广信府。清沿明制。1914年隶于豫章道。1926年废道隶于省。1932年属第六行政区。1949年5月5日解放后属上饶专区（地区）。现属上饶市。
1981年，设立玉山县少华、林岗人民公社。1985年4月18日，设立怀玉、三清乡（赣府厅字[1985]230号）。
1992年7月27日，撤销仙岩乡、下镇乡、岩瑞乡、白云乡、临湖乡、双明乡、樟树乡、横村乡，设立仙岩镇、下镇镇、岩瑞镇、白云镇、临湖镇、双明镇、樟树镇、横街镇（赣民字[1992]138号批复）。1994年3月12日，撤销文成乡、紫湖乡，设立文成镇、紫湖镇（赣民字[1994]40号批复）。
1996年3月19日，撤销必姆乡，设立必姆镇（赣民字[1996]51号批复）。1996年12月20日，将林岗乡的县后山、许家、莲塘、小徐、下徐五个行政村和东津桥行政村的西津村民小组，文成镇的文成、金交、后垄三个行政村六都乡的殿口行政村成建制划归冰溪镇管辖（赣民字[1996]284号批复）。
1999年12月31日，林岗乡政府驻地迁至潘家（赣民字[1999]292号批复）。
2000年第五次人口普查，全县总人口515934人，其中：冰溪镇66640人、临湖镇31958人、必姆镇27201人、横街镇30931人、文成镇27608人、下镇镇42690人、岩瑞镇18932人、白云镇17162人、双明镇19427人、紫湖镇21733人、仙岩镇17184人、樟村镇28919人、南山乡20866人、童坊乡15668人、下塘乡20677人、四股桥乡27725人、少华乡5998人、怀玉乡3231人、林岗乡12760人、六都乡12160人、华村乡15691人、群力乡14298人、官溪乡11966人、三清乡4509人。
2001年11月8日，撤销群力乡，划归六都乡；撤销官溪乡，划归仙岩镇；撤销林岗乡，划归岩瑞镇；撤销少华乡，划归双明镇；撤销童坊乡，划归怀玉乡（赣民字[2001]508号批复）。
2002年底，玉山县辖12个镇、7个乡，16个居委会、273个行政村。2003年底，全县辖12个镇、7个乡，总人口54.5万人。
2006年1月20日，撤销华村乡，成建制划归六都乡管辖；撤销白云镇，成建制划归岩瑞镇管辖（赣民字[2006]5号批复）。2006年末户籍总人口563156人（包括三管委）。
