辖区主体是老城区。俗称“旧城”，建于明万历三年（1575年），时称库库和屯（呼和浩特的别译），明廷赐名“归化城”。明末毁于战火，清初复建，城区逐渐向南扩展。1954年在原归绥市第三区的基础上改建呼和浩特市玉泉区，1966年改向阳区，1979年复称玉泉区。
1996年，玉泉区位于城区西南部，面积5.6平方千米，人口约11.3万人。辖小召街道、大南街街道、兴隆巷街道、长和廊街道、石东路街道等5个街道。区政府驻公园西路200号。
1999年，将原郊区的西菜园、桃花、小黑河3个乡（包括53个行政村、72个居委会）划归玉泉区，新增农业人口41371人。全区辖5个街道、3个乡。
2000年5月14日，国务院（国函[2000]42号）批准同意调整呼和浩特市市辖区行政区划。行政区划调整后，玉泉区辖小召、大南街、兴隆巷、长和廊、石羊桥东路5个街道办事处，以及从原郊区划入的桃花、小黑河2个乡，西菜园乡的西霞园、巴彦乌素、芦花园、落雁、辛兴5个居委会和范家营、西瓦窑、五里营、南八里庄、西菜园、南茶坊、碱滩、大围困、南营子、西水磨、辛辛板、小黑河、沟子板13个村委会。区人民政府驻公园西路。
2000年第五次人口普查，玉泉区总人口266888人，其中：小召前街道24030人，兴隆巷街道31369人，长和廊街道27465人，石羊桥东路街道22847人，大南街街道18920人，西菜园乡101241人，桃花乡22776人，小黑河乡18240人。
？年，设立鄂尔多斯路街道。调整后，玉泉区辖6个街道、3个乡：小召前街街道、兴隆巷街道、长和廊街道、石羊桥东路街道、大南街街道、鄂尔多斯路街道、西菜园乡、桃花乡、小黑河乡。
？年，撤销西菜园乡，设立西菜园街道。？年，小黑河撤乡设镇。调整后，玉泉区辖7个街道、1个镇、1个乡：小召前街街道、兴隆巷街道、长和廊街道、石羊桥东路街道、大南街街道、鄂尔多斯路街道、西菜园街道、小黑河镇、桃花乡。
2006年，设立昭君路街道（2007年1月8日挂牌成立）；撤销桃花乡，并入小黑河镇。调整后，玉泉区辖8个街道、1个镇：小召前街街道、兴隆巷街道、长和廊街道、石羊桥东路街道、大南街街道、鄂尔多斯路街道、西菜园街道、昭君路街道、小黑河镇。共有54个行政村和40个社区。全区总面积258平方千米，总人口31万人（含流动人口）。
