隋置连山县。据《今县释名》：“县南有黄连山，峰峦连络，多草木。旧志，山产黄连”，故名。1958年设今名。
？年，连山壮族瑶族自治县辖5个镇、7个乡：吉田镇、小三江镇、永和镇、福堂镇、太保镇，上帅乡、永丰乡、加田乡、上草乡、大富乡、禾洞乡、三水乡。大旭林场、禾洞林场、连山林场（省属）在境内。
2000年第五次全国人口普，连山壮族瑶族自治县（辖12个镇）总人口99070人，其中：永和镇12379人、大富镇4573人、上草镇4691人、三水镇2881人、吉田镇22827人、太保镇11444人、禾洞镇6749人、永丰镇6340人、福堂镇9573人、小三江镇7748人、加田镇6310人、上帅镇3555人。
2002年，连山壮族瑶族自治县辖吉田、太保、福堂、永和、禾洞、加田、永丰、上帅、三水、上草、大富、小三江12个镇，72个村委会、1个居委会。
2004年，连山壮族瑶族自治县由12个镇撤并为吉田、太保、福堂、永和、禾洞、上帅、小三江7个镇。
2009年末，连山壮族瑶族自治县面积1218平方千米，辖7个镇，4个居委会、46个行政村。县政府驻吉田镇。
