古时，徐、余通用。在甲骨文和金文中，余字就像树上筑有鸟巢形，而徐字像古代南方民族巢居形。这与原始社会有巢氏构木为巢的传说是一致的，说明最早的徐人是居住在森林茂密的地方，据考证应在今河北玉田北的徐无山，亦称徐吾山。徐人后来迁移到了江淮地区的低洼、潮湿的地方，那么在平地和低湿地上建立的高脚楼就显得极为重要了。善于这种建筑的人群当然就是来自北方的余氏族，而祖徽则是加双人象征众人搭筑木屋，有别于北方余人在树上直接筑巢的原始方式。徐人居住的地方就被称为徐，建立的城堡称为徐邑，最终发展成为国家和姓氏。
构成徐姓的主要有三：
一来自嬴姓。五帝时期的金天氏少昊氏族活动在今天河北盐山东南，后南迁到山东曲阜，成为以凤凰为图腾的东夷族的一支。少昊的孙子皋陶在尧舜时期是掌管刑法和司法的官，他的儿子伯益为掌管火种和驯养兽鸟的官，在辅佐大禹治水时立有大功。夏王封伯益的儿子若木于徐，故地在今安徽泗县北，徐国经历夏商周三代一直活跃在江淮之间，史称徐戎，也称徐夷或者徐方。春秋时，徐偃王反周，被周穆王联合楚国所灭，后来复封徐偃王的儿子宗为徐子。战国时，公元前512年吴国灭徐，随后越国灭吴，越又被楚国所灭，徐国的领土归入楚国的版图。徐国的子孙就以国名为氏，散居在江淮之间。
得姓始祖若木
第二来自子姓。周朝初年，殷商遗民中有一支成为徐氏族。
第三来自外族的改姓。东晋时，今宁夏贺兰山地区和甘肃庆阳地区的氐族、清朝满洲舒禄氏、徐吉氏、舒穆禄氏改姓为徐。
今天的徐姓大多以“出自嬴姓，伯益后裔”为正宗，尊若木为得姓始祖。
这一支徐姓最早生息繁衍地就在若木被封徐国的地方，即今天以安徽省泗县为中心的安徽省东北部、山东省西南部、江苏省西北部一带。秦时，在这一区域设置东海郡，故而有“徐姓望出东海”的说法。