距法库东12千米处有二山，一称刁山，一称跸山，全称刁跸山，于清中期谐音称“调兵山”。铁法因地处铁岭、法库二县交界处，取二县首字而得名。1960年设铁法矿务局。
1981年9月21日，国务院批准同意在铁法矿区的基础上设立铁法市（县级），以铁法矿务局领导的调兵山镇、大明镇2个镇和南岭大队、东调兵山大队、大明大队、兴隆屯大队、尚三家子大队5个大队，铁岭县的晓明公社和蔡牛公社的张庄大队、汪荒地大队2个大队，大青山公社的腰堡大队，法库县的调兵山大队、兀术街大队、泉眼沟大队、前峪大队、后峪大队、高力沟大队、胡家窝堡大队、锁龙沟大队8个大队为铁法市的行政区域。铁法市由铁岭地区领导。1982年，铁法市政府正式成立。
1984年，撤销铁法市，将铁法市的行政区域以及法库县的城子、太平山、顾家房三个村划归铁岭市，设立铁法区。1986年9月12日，国务院（国函[1986]118号）批复同意撤销铁岭市铁法区，复设铁法市，以铁法区行政区域为铁法市的行政区域。2002年2月20日，民政部（民函[2002]21号）批复同意将铁法市更名为调兵山市。
1996年，铁法市面积262.9平方千米，人口约22万人。辖7个镇：调兵山镇、铁法镇、晓明镇、孤山子镇、晓南镇、小青镇、大明镇。市府驻调兵山镇。
2000年第五次人口普查，铁法市常住总人口239636人，其中：调兵山镇51369人，铁法镇86792人，晓明镇19102人，大明镇32099人，孤山子镇13366人，晓南镇20445人，小青镇16463人。
2002年2月6日，宁省政府（辽政[2002]38号）批复同意：（铁法市）撤销调兵山镇，将其所辖太平山、大江、小江3个村划入大明镇；将原调兵山镇余下的3个村、7个社区设立调兵山街道；撤销铁法镇，将其所辖高力沟、锁龙沟、胡家、望家、城子5个村划入晓南镇；将原铁法镇余下的3个村委会、12个社区设立兀术街街道；撤销孤山子镇、晓南镇，合并设立晓南镇，将晓南镇的前屯、后屯2个村划入晓明镇；撤销晓明镇、小青镇，合并设立晓明镇，将原晓明镇的团结、沙后所2个村划入大明镇。
2002年6月，调兵山市面积262.9平方千米，人口约24万人。辖2个街道、3个镇：兀术街街道、调兵山街道、晓明镇、大明镇、晓南镇。共有29个社区、46个行政村。市政府驻育才路。
2010年第六次人口普查，调兵山市常住总人口241431人，其中：兀术街街道103662人，调兵山街道56013人，晓明镇23047人，大明镇29544人，晓南镇29165人。
