唐昭宗天二年（905年），上犹人卢光稠任虔州刺史，倡议建上犹场，开始用“上犹”二字。后梁乾化元年〔911年〕，将南康县西北之地划出设置上犹场，场治设在灵岩寺北。因居犹江上游而得名。一说，原来上犹场治所之北有一座大山，因其形状很像一种叫“犹”的动物，所以叫“大犹山”，山下有一条河古时称为“犹水”，场治所在地紧靠“大犹山”，又处在犹水口上侧，所以取名上犹。
南唐保大年（952年）置上犹县。宋朝曾改名为南安县。元朝改为永清县，不久复名上犹县。明清属江西布政司南安府。民国元年，成立江西省政府，上犹县为省直辖县。后来全省划分行政区，上犹县先后属于第十二行政区、第四行政区。第二次国内革命战争时期，上犹属湘赣省苏维埃政府。解放后，先后属赣西南行政公署、赣南行政公署、赣州专区、赣州地区、赣州市。
1987年4月5日，撤销营前乡、社溪乡，设立营前镇、社溪镇（赣府厅字[1987]165号批复）。1991年10月25日，撤销城关乡，其行政区域划归东山镇管辖（赣民字[1991]175号批复）。
1997年，全县面积1544平方千米，人口27.1万。辖4个镇、14个乡：东山镇、陡水镇、社溪镇、营前镇、黄埠乡、中稍乡、沿湖乡、梅水乡、油石乡、安和乡、蓝田乡、紫阳乡、寺下乡、双溪乡、水岩乡、金盆乡、平富乡、五指峰乡。县政府驻东山镇。
2000年第五次人口普查，全县总人口256238人；其中：东山镇35808人、陡水镇5720人、社溪镇18969人、营前镇28330人、黄埠乡15560人、中稍乡15103人、沿湖乡5522人、梅水乡14853人、油石乡16768人、安和乡10181人、兰田乡11431人、紫阳乡11780人、寺下乡13479人、双溪乡11502人、水岩乡5412人、金盆乡17198人、平富乡10471人、五指峰乡8151人。
2001年7月9日，撤销沿湖乡、中稍乡，划归东山镇；撤销金盆乡，划归水岩乡，乡政府迁至太乙圩；撤销蓝田乡，划归社溪镇；撤销黄埠乡，设立黄埠镇（赣民字[2001]342号批复）。
2002年底，上犹县辖5个镇、9个乡，8个居委会、180个行政村。2003年底，全县总人口28.1万人。
