原为歙县地。1987年划岩寺镇和潜口、呈坎、罗田、西南溪、洽舍、富溪、杨林7乡以及郑村乡的瑶村置黄山市徽州区。
1996年，徽州区面积441平方千米，人口约9.8万人，辖1个镇、6个乡：岩寺镇、西溪南乡、潜口乡、呈坎乡、洽舍乡、杨村乡、富溪乡。区政府驻岩寺镇。
2000年第五次人口普查，徽州区常住总人口91122人，其中，岩寺镇36061人，西溪南乡15910人，潜口乡12300人，呈坎乡12353人，洽舍乡2899人，杨村乡5227人，富溪乡6372人。
2002年，设立徽州街道；呈坎撤乡设镇。
2004年，将歙县郑村镇的上朱村划入黄山市徽州区岩寺镇。2004年末，徽州区辖1个街道、4个镇、3个乡。
2010年第六次人口普查，徽州区常住总人口95529人，其中，徽州街道13598人，岩寺镇31614人，西溪南镇16051人，潜口镇11927人，呈坎镇11176人，洽舍乡2141人，杨村乡3843人，富溪乡5179人。
2015年7月，将徽州区岩寺镇长源村、仙和村和西溪南镇长林村（3村总面积约15平方千米，总人口约0.7万人）划入屯溪区新潭镇。
