衢山镇位于岱山县东北部，北纬30°7′-30°38′，东经121°31′-123°17′。衢山镇辖大小岛屿79个，其中住人岛屿5个（衢山本岛、小衢岛、黄泽岛、鼠浪岛、下三星岛，统称衢山岛）。岛域面积72.13平方千米，人口6.02万（2005年）。现辖1个社区、12个渔农村新型社区、37个行政村：瀛洲；岛头、枕头山、幸福、太平、皇坟、高涂、桂花、龙潭、四平、沙龙、万民、鼠浪；幸福、小衢、黄泽、岛扎、岛斗、鹤冠、枕头山、龙会、长荫、三弄、太平、塘岙、打水、黄沙、樟木山、田厂、里高涂、外高涂、沼潭、沙塘、龙亭、四平、石子门、涨网套、东岙、凉峙、马足、田涂、渔耕碗、桂花园、大龙潭、小龙潭、罗家岙、乍门、万南、万北、鼠浪。镇政府驻人民路373号，邮编：316281。代码：330921106。（另一数据：全镇岛域总面积73.6平方千米，其中衢山本岛面积为61.79平方千米，是我国第八大岛）
唐属翁山县蓬莱乡；宋、元时属昌国县蓬莱乡，称朐山村；清朝时称衢山，有通衢大道之意。民国34年建岛斗乡，属定海县；解放后设衢山区；1958年改为岛斗公社；1961年撤社设区；1962年升置为大衢县；1964年撤县恢复区建制；1992年5月撤区扩镇并乡；1999年11月，设立衢山经济发展试验区管理委员会，下辖岛斗镇、四平乡、万良乡。2001年7月，撤二乡一镇，全岛设立衢山镇，镇政府驻地岛斗。
2003年，全镇辖3个办事处，分别为四平办事处、万良办事处、鼠浪办事处。有44个行政村，其中渔业村22个，农业村22个。具体分布为：岛斗地区有28个行政村，四平地区有10个行政村，万良地区有5个行政村，鼠浪地区有1个行政村。2003年总人口5.81万人。
2005年1月7日，岱山县人民政府《关于同意撤销衢山镇一二居委合并成立岛斗社区居委会的批复》：撤销衢山镇一、二居委，合并成立岛斗社区居委会。岛斗社区区域面积为2.1平方千米，即岛斗建成区。
2006月2月6日，岱山县人民政府《关于同意衢山镇樟木山、西丰2村行政区划调整的批复》：撤并樟木山村、西丰村，新组建一个行政村，村名为“樟木山村”，村委办公地点设在原樟木山村村委。
