荡口徐氏原裔江西徐孺子系，后经变迁，徙至苏州地区，遂成一支。在此传10世，由元朝迁至成都，再回迁于苏州市区，中间相隔数百年。自徐公宗训起，第八世孙徐朴(字思木，号寻乐)，经商致富，于明永乐年间回迁姑苏，为吴门徐氏始祖。徐朴生子耀(字文采，号雪井)，更善经商，遂富甲三吴，宅田连云，时六房庄、十房庄、陶家池、桃花墩、龙船浜、花步等均为徐氏别墅与宅基。徐耀生子徐履祥(字子旋，号古石)，明嘉靖辛丑科进士，任职尚宝司， 徐履祥子徐泰时，明万历庚辰进士，任职工部营缮主事郎中，加衔光禄寺少卿，曾主事万历帝陵(定陵)，晋秩太仆少卿。因营造定陵有功，得到重赏。定陵营造6年，完成后泰时亦退休，回到苏州，以皇家气派建造了东园、西园、江西会馆。东园是居住之用，西园是老太太念经之地，现在两园均为苏州名园，列人世界文化遗产。
无锡荡口徐氏是在清朝中期，由苏州迁居荡口老湖桥，当时按徐氏官阶级别，宅门可用大红漆，这是贵族门第的象征，当地人称“红墙门”。红墙门共有100多间的大宅院，设三个厅，高达轩敞，十分显赫。第廿二世祖徐焕(字舫亭)，清乾隆五十一年(1786)中举，嘉庆六年(1801)进士，人翰林院，任礼部
主事。因徐焕做了高官，就在红墙门挂上“太史第”匾额，使红墙门更为显赫。在红墙门东边右侧建造了二开间三进祠堂， 共六间，中间有二个大天井。
后因无锡县望亭司搬至荡口，为办理积谷一事，竟至诉讼，还死了人，打了好几年官司。徐氏从此家道败落。望亭司仗着势力，在南京渡口等地派人拦截徐氏上访，二房一老仆人挺身而出，乔装成乞丐，将诉状藏于打狗棒内，一路行乞至北京，找到徐焕，经徐焕帮助，官司总算打赢。为纪念二房死者和仆人出力，全体徐氏出资，倡捐义田，设立义塾， 还在祠堂旁盖了义庄。此义庄十分气派，共有九开间四进，中间有月亮门做隔墙，植有玉兰树2株、桂花树1株、黄杨树1株。其中，玉兰树和桂花树均有一人抱粗。义庄建立后，办了许多善事，不仅赡养徐姓贫困族人，还惠泽桑梓，供养孤寡乡民，并为300多位寒家子弟提供就学机会，成为当时远近闻名的善举。
徐氏义庄东西面宽30余米九开间，南北进深50余米四进，建筑面积达一千余平方米，由于义庄在解放后一直以办学为主，才保存至今。2003年6月被列为无锡市文物保护单位。随着荡口古镇建设需要，由政府为保护古建
筑，将其移建至荡口镇新光大桥北堍。目前正在修复中的徐氏义庄祠已修复。