潜山徐氏宗祠先后建有七座。据谱载，除支祠外，总祠就建过两次。
第一次建于清乾隆二十八年(1763)，后“遭兵燹，一炷而空”。
第二次于民国六年(1917)，“置买合肥李府春霆堂东门城内典屋并店屋”建造。徐祠“规模宏敞，栋宇辉煌，近映湖光，远迎塔影，行路者观徐氏庙，动日观止矣!”解放前夕，潜山中学曾据此祠上课。后被拆除，建了党校。现在，徐氏宗祠虽已荡然无存，但其遗留文物，如石狮、石鼓、石墩、石门框门楣及匾额等，尚散存各地。拟据谱牒记载，收集祠堂文物，复建徐氏宗祠，这不仅能还原历史本来面目，再现祠堂文化，也能为昭穆列祖列宗，展示家谱文化，开展联谊活动， 进行文化研究，提供一个具体场所。先祖厚德，子孙绵绵。皖西南18万徐氏族人，属江西鄱阳凰冈徐氏第97代密公之后裔。2010年宗亲族贤多次磋商，合议联建徐氏宗祠。捐款集资500 多万，历时两载三夏，一座园区总面积3000平方米，宗祠建筑面积1768平方米，三进七开间，雄伟庄严的仿古徽派建筑徐氏宗祠，巍然伫立在天柱山麓、皖水河畔。宗祠位于国家4A级景区白马潭漂流、天龙关攀岩景区之间，毗邻水吼农业生态观光园跑马场，其飞檐翘角和雕梁画栋的仿古风貌与皖西南原生态的青山绿水融为一体，堪称风情小镇美好乡村的地标性建筑。