“吉木乃”系氏族名，为乌古斯汗国九姓氏族之一，又名“吉别乃”，“吉木乃”为“吉别乃”的音译演变。又名托普铁热克。托普铁热克，哈萨克语，意为杨树林。早年此地多杨树而得名。
隋朝属西突厥薛延陀部，唐属北庭都护府葛逻禄部，宋属乃蛮部，元属窝阔台封地，明属亦力把里本部，清代原隶塔尔巴哈台参赞大臣，光绪三十二年（1906年）划归阿尔泰办事大臣管辖。民国5年（1916年）设吉木乃县佐，归布尔津知事署理。1930年设吉木乃县，先后属阿山行政区、阿山专区、阿勒泰专区。1970年属阿勒泰地区。
1962年县人民政府东迁到托普铁热克，始为县城。1983年设托普铁热克镇。
1997年，吉木乃县面积8222平方千米，人口约3.4万人，其中哈萨克族占61.2%，辖1个镇、5个乡：托普铁热克镇、托普铁热克乡、恰勒什海乡、别斯铁热克乡、托斯特乡、喀尔交乡。县政府驻托普铁热克镇。驻有新疆生产兵团农十师186团场和吉木乃口岸。（根据《中国政区大典》）
2000年第五次人口普查，吉木乃县常住总人口35462人，其中：托普铁烈克镇10282人、吉木乃镇2384人、托普铁热克乡6164人、托斯特乡4451人、恰勒什海乡1143人、喀尔交乡5037人、别斯铁列克乡3139人、兵团186团2862人。
2003年，吉木乃县总面积7145.04平方千米，总人口37149人，辖2个镇、5个乡：托普铁热克镇、吉木乃镇、托普铁热克乡、托斯特乡、恰勒什海乡、喀尔交乡、别斯铁热克乡。县政府驻吉木乃镇。
2010年第六次人口普查，吉木乃县常住总人口35365人，其中：托普铁热克镇10232人，吉木乃镇2418人，托普铁热克乡6347人，托斯特乡4524人，恰勒什海乡1149人，喀尔交乡5075人，别斯铁热克乡3203人，兵团一八六团2417人。
2014年10月21日，自治区政府（新政函[2014]188号）同意撤销喀尔交乡，设立喀尔交镇。调整后，全县3个镇、4个乡：托普铁热克镇、吉木乃镇、喀尔交镇、托普铁热克乡、托斯特乡、恰勒什海乡、别斯铁热克乡。
