1933年为南京市第一区，1955年更名为玄武区，以濒临玄武湖而得名。1960年改玄武区人民公社，1963年复为玄武区，1967年更名要武区，1973年复名玄武区。
1995年，将鼓楼区中央路东侧廖家巷、大树根、后大树根、中央门4个居委会划入玄武区玄武门街道办事处管辖；将栖霞区玄武湖镇、孝陵卫镇（苜蓿园、后庄两个村除外），迈皋桥镇的小营、红山、藤子3个行政村，伊刘苗圃、红山公园及属中山陵园管理局行政管理的范围，划归玄武区管辖。其中从迈皋桥镇划入的3个行政村并入玄武湖镇。1996年，全区面积81平方千米，人口约34.8万人。辖10个街道。区政府驻珠江路455号。
2000年第五次人口普查，玄武区总人口491364人，其中：兰园街道 40168人、梅园新村街道 25595人、新街口街道 36658人、丹凤街街道 49888人、玄武门街道 45753人、后宰门街道 54771人、锁金村街道 51847人、红山街道 47458人、孝陵卫街道 92807人、玄武湖街道 46419人。
2005年1月，玄武区将原来的11个街道调整为8个：撤销兰园街道并入梅园新村街道，撤销丹凤街街道并入新街口街道，撤销卫岗街道并入孝陵卫街道。
2009年末，玄武区总面积75平方千米、总人口51.52万人。辖8个街道：梅园新村街道、新街口街道、玄武门街道、后宰门街道、锁金村街道、红山街道、孝陵卫街道、玄武湖街道。区政府驻兰园街道。
2010年第六次人口普查，玄武区常住总人口651957人，其中：梅园新村街道107395人，新街口街道93906人，玄武门街道41993人，后宰门街道61990人，锁金村街道76063人，红山街道88217人，孝陵卫街道112654人，玄武湖街道69739人。
2012年，将梅园新村街道北京东路以北的公教一村社区和后宰门街道龙蟠路以北以西的辖区部分（太平花园小区）划归玄武门街道管辖，将调整后的梅园新村街道与后宰门街道合并设立新的梅园新村街道。调整后，全区辖7个街道：梅园新村街道、新街口街道、玄武门街道、锁金村街道、红山街道、孝陵卫街道、玄武湖街道。
