相对于中原华夏、甚至我省宁绍台地区，先秦时衢州人口是十分稀少的。据史书记载，西汉时，会稽郡有26县，户223038，口1032604。如以平均数算，每县仅有户8578户，口39715。当然，事实上是不可能平均分布的。西汉会稽郡的26个县大多在长江以南到杭州湾的周围。这说明当时人口密集的县城，集中分布在今江苏东南部及浙江杭州湾一带。大末县作为会稽郡西部偏远县人口数达不到平均数。吴宝鼎元年，东阳郡设立，到西晋太康元年(280)，东阳郡9县平均户数是1333.33，以此乘以3(即太末、信安、定阳)，得4000，这就是当时衢州户数，若每户以6口计，当时衢州人口也就是2.4万人。这就是秦汉时期衢州的人口基数。同时通过对一些史料分析，我们可以得到从先秦至六朝，衢州人口迁徙的一些信息。
秦汉时期，有两次官方强制性的将北方人口迁入会稽郡。一是秦始皇时，“徙天下有罪吏民，置海南故大越处。”这“大越”指的是会稽郡，大末属之；另一是汉武帝元狩四年(前119)，“会稽有关东贫民来徙，陡增十四万五千口。”其时整个衢州为太末县，属会稽郡，那时应有北方或中原人士迁来，只不过如今不能考证出是哪些姓而已。余绍宋先生在《龙游县志》写到，太末故姓有虞、齐、鲁、乙，上世纪八十年代，龙游东华山汉墓出土鲁姓印章一枚，证明墓主姓鲁。据记载，乙姓人至宋代还在。尽管先秦至汉、晋时期，不断有北方人口迁入，但其时衢州人口发展还是十分缓慢的。到了刘宋八年(464)古太末三县户口数约5340,人口约35990。184年间人口增长率为33.5%。从西汉末到晋代，先后迁入衢州有确切时间可考的有徐、齐、郑、慎、陈、毛、祝、江等姓氏。此后他们各自对衢州的社会政治经济文化产生了深刻影响。
衢州历史上有一个奇特的现象，这就是最初迁来的姓氏至今成为衢州人口最多的大姓。以徐姓为例，据上世纪九十年代统计，在衢州230万人口基数中，徐姓人有17万之多，占了7.4%左右。据龙游《灵山徐氏宗谱》载：偃王38代孙江夏太守徐元洎，为避王莽祸乱于汉阳朔二五(前23年)五月十八日自江北渡江，徙居太末城南泊鲤村(今龙游县灵山)。有人于1911年在衢城东郊旧教场(今机场)内发掘一古冢，其中一砖上有“元康四年七月廿七日册姓徐”字样，此应是汉宣帝时徐姓人的墓，这一年是公元前64年。历经东汉、三国、晋、南朝，徐姓人口发展迅速，蔚为大族，以致有”衢州故会稽太末也，民多姓徐氏“之说(见韩愈《徐偃王庙碑记》)。
三国初，孙吴政权为与魏、蜀抗衡，要巩固江东基业，镇压山越反抗，遣中郎将郑平戍峥嵘岭(今市区府山)。嘉和二年(236)郑平被加封为征虏大将军，元兴元年(264)迁光禄大夫、新昌郡公，食邑信安。吴亡后不仕，以信安为家成为衢州郑姓始祖。现今，郑姓人在衢州有12万之众，是衢州第二大姓。
晋元帝大兴年间为慎涤为东阳郡守，因爱信安山水之美，占籍而居。成为衢人。北宋天圣年间，后裔移迁高丽。今仅朝鲜半岛有慎姓人约5万。
晋时益州刺史毛琚因功卒后追封归乡侯，归葬信安烂柯山，后子孙食邑信安并家于此。
晋开国初，有四川阆中人陈弘，是一位文武双全的人物。他曾任益州刺史王浚的参谋，随王浚奉命伐吴。公元280年，他们乘巨舟沿长江东进，所向披靡，大军直捣建业(南京)，吴主孙皓只得乖乖投降，一举结束了三国分裂的局面。陈弘也因运筹帷幄之功，授峥嵘镇总管，封信安侯，举家迁信安。如今陈弘墓尚在市区皂木巷内。
晋惠帝时，江祖官至太子洗马，，随元帝渡江而迁建业，住乌衣巷。至南朝梁时，后裔江世源封护军将军驻信安，成为衢州江姓始祖。
另有可考的还有齐姓与舒姓和祝姓，分别自汉末迁来
文化