隋开皇十六年（596年）析龙冈县南境置沙河县，以境内横贯东西的大沙河而得名。据《元和郡县志》称“以沙河在县南五里，因以为名”。1987年2月，经国务院批准撤县设市。
1996年，全市面积960平方千米，人口44万人。辖5个街道、5个镇、5个乡：褡裢街道、桥东街道、桥西街道、周庄街道、赞善街道、沙河城镇、綦村镇、十里亭镇、白塔镇、新城镇、留村乡、柴关乡、册井乡、刘石岗乡、蝉房乡。
2000年第五次人口普查，沙河市常住总人口474260人，其中：褡裢街道36443人，桥东街道39077人，桥西街道20623人，赞善街道31286人，周庄街道15166人，沙河城镇37573人，新城镇41546人，白塔镇44433人，十里亭镇25470人，綦村镇31075人，留村乡47827人，册井乡25760人，刘石岗乡24297人，柴关乡16948人，蝉房乡15685人，第廿冶金建设公司15281人，华北冶金矿山建设公司5770人。
2002年，沙河市面积970平方千米，人口45万人。辖5个街道、5个镇、5个乡，10个社区、290个行政村。
2010年第六次人口普查，沙河市常住总人口498416人，其中：褡裢街道57875人，桥东街道53317人，桥西街道21087人，赞善街道34169人，周庄街道15774人，沙河城镇37722人，新城镇41288人，白塔镇47009人，十里亭镇28711人，綦村镇29927人，留村乡49543人，册井乡25754人，刘石岗乡24204人，柴关乡15829人，蝉房乡16207人。
2014年3月3日，省民政厅（冀民函[2014]16号）批复批复留村乡撤乡设镇（5月6日正式实施）。调整后，全市辖5个街道、6个镇、4个乡：褡裢街道、桥东街道、桥西街道、赞善街道、周庄街道、新城镇、白塔镇、十里亭镇、綦村镇、沙河城镇、留村镇、册井乡、刘石岗乡、柴关乡、蝉房乡（其中，沙河城镇、留村镇由邢台经济开发区管理）。
