隋开皇十年(590年)置连州，因连口水得名。一说因有黄莲岭得名。1912年改连县。1994年设市。
2000年，连州市辖连州、附城、西岸、清水、东陂、丰阳、大路边、星子、龙坪、保安、朱岗、清江、山塘、潭岭、麻步、朝天、西江、高山、龙潭、九陂20个镇，三水、瑶安2个瑶族乡。
2000年第五次全国人口普查，全市总人口409360人，其中：连州镇107269人、星子镇35309人、大路边镇25228人、龙坪镇16892人、西岸镇27912人、保安镇25674人、丰阳镇14131人、东陂镇23730人、清水镇9173人、九陂镇19808人、高山镇3392人、朝天镇8330人、附城镇16165人、朱岗镇9319人、潭岭镇2636人、龙潭镇5781人、清江镇13500人、山塘镇15548人、西江镇8536人、麻步镇8258人、瑶安瑶族乡9660人、三水瑶族乡3109人。
2002年，连州市辖连洲、保安、星子、龙坪、清水、西岸、东陂、丰阳、清江、麻步、山塘、潭岭、朝天、西江、高山、龙潭、九陂、附城、朱岗、大路边20个镇和瑶安瑶族、三水瑶族2个民族乡，207个村委会、18个居委会。
2003年，据《清远日报》报道：连州市将在年底前撤并山塘、清江、潭岭等9个镇（乡）。镇（乡）总数将由原来的22个变为12个。村级撤并工作将在2004年底前完成。连州市乡镇撤并后，初步形成了中心镇格局，以该市巾峰山为界，山上片保留了龙坪、星子、大路边、西江4个中心集镇；山下片保留了连州、东陂、九陂、保安、丰阳、西岸6个中心集镇和三水、瑶安2个民族乡。其中有9个镇人口超过3万人。
2009年末，连州市辖连州、保安、星子、龙坪、西岸、东陂、丰阳、西江、九陂、大路边10个镇和瑶安瑶族、三水瑶族2个民族乡，10个社区、163个行政村。市政府驻连州镇。
