龙游，唐代名龙丘。龙丘县南有徐山（现名灵山），其地在唐以前就有徐偃王庙。开元初，著名学者徐坚与子徐峤相继任刺史，于是扩建徐偃王庙，请韩愈写了一篇《衢州徐偃王庙碑》。衢州的徐偃王庙因韩愈撰写重修碑文而流传至今。南宋绍兴、乾道、 淳熙年间，该庙多次遭毁而重建。宝庆二年，袁甫任衢州太守，上表请封徐偃王，待敕封徐偃王为“灵惠慈仁圣济英烈王”诏书下来后，袁甫写了《重修衢州徐偃王庙记》。其实，在历史上龙游的徐偃王庙很多。据《龙游祠祀志》载；东华湖镇沐尘锦溪也有徐偃王庙，与龙游之庙规模相当，被称为行祠。每年农历正月二十日为徐偃王生辰，当地居人“饰羽旄钟鼓之盛，舆其社神以登东华之山，以为王寿。”
徐偃王虽经神化而受恭奉，但考据历史上徐氏族人聚居之地多建有徐偃王庙，以作祭祀和对故国情怀，成为徐氏祭祀先祖的最早的祠庙。西周时，徐立国甚早，其时疆域广阔，幅员曾到长江以南、东南沿海，郭沫若说：“徐人乃有山东、江苏、安徽接境处被周人压迫而南下，且入于江西北部者，则春秋年之江浙殆犹徐土者，亦未可知也。”徐衰后才有吴越代兴，故吴越之地，乃徐人旧土。徐氏子孙分布在江浙一带、太湖流域，形成后世徐偃王庙遍布吴越二地的历史基因。