据老谱载，自江西凰冈迁潜的徐氏四支始祖文牖公（九都始祖）、竹牖公（沙河始祖）、梅牖公（鸡子河始祖）、万三公（上清始祖）的后裔先后在潜山境内建有总祠、支祠、分祠等共九座。分别为东门城内的徐氏总祠，东门城内文、竹二房合建的徐氏宗祠，东街仙人掌梅、万二房合建的徐氏宗祠，原青楼徐家老屋文房建的徐氏宗祠，县城老北街九都三世祖久良公房建的九都支祠（久良公祠），徐漕竹房建的沙河徐氏宗祠，棋盘赵冲沙河二世祖均佐、均庭二房建的沙河支祠，源潭镇鲁家坦沙河二世祖斌房建的沙河支祠（伯蓝公祠），水吼大粟树梅公房建的鸡子河支祠（享堂）。
文、竹二房共买东门城内王姓基地一片，合建的徐氏宗祠为九都、沙河西支公祠，创建年代已失考，后因粤寇蹂躏糟蹋，一炬大火，烧毁殆尽。民国六年（公元1917年），文、竹、梅、万四房合议分作五股出费（文、竹二房各二股，梅、万二房合一股）置买了合肥李府春霆堂东门城内的典屋一座，包括所属全部附房巷道、墙院隙地、树木更楼。因此房为典屋，“无以尊庙貌而妥先灵”，作为祠堂须改弦更张。民国七年（公元1918年）五股复议重新改建，于民国九年（公元1920年）祠堂落成，此即为潜山徐氏总祠。新建的总祠，气势恢弘，雕梁画栋。谱记曰“规模宏厂，栋宇辉煌，近映湖光，远迎塔影，行路者观徐氏庙，动曰观止矣！”祠堂落成庆典时，族长们迎请刘知事印道春者为点主官，行见“福星临第光增东海旧家声，大笔生春点缀南州新气象”。总祠神堂中，位分五间，序列九级，左昭右穆，各分支先祖的灵位，分别按秩序安置其上，无陵夺无混淆，入堂观之者无不肃然起敬。正如《总祠记》曰“将宗之敬敬以此，族之收收以此，且汇谱之修修以此矣”。
总祠建成后，因国内政治动荡，加之外寇入侵，徐氏后裔又散居全县及岳西等地，民国时期，除各分支续修过支谱外，一直未修总谱。故有关总祠的记载及文史资料匮乏，仅有支谱中《东门城内总祠记》一文可考。据传，总祠中有两副文字考究的楹联，一曰“源流东海家声远，派衍南州世泽长”；二曰“在夏不王，在周不霸，自来义守纯臣，珠帘总垂青白史；见硬而回，见石而却，氏是家传孝子，牡丹怕放紫红花”。据宗亲口传，第二联系总祠落成后九都徐氏后裔徐用刚（时住原青楼乡糖岭村）先生于民国初期所撰。
总祠于新中国成立初期被拆，祠址现为中共潜山县委党校。