铁佛寺在湖州城中劳动路。该寺是在原开元寺的基础上发展而成的。南朝梁天监（502~519）年间，尚书右补射徐勉舍宅为寺，寺名“八政”，唐开元二十六年（738）改名“开元”。开元寺正殿东廊名广福院，供奉观世音佛像。后开元寺焚于火，仅存廊俯。至北宋乾兴（1022），湖州禅僧鉴真铸铁观音，遂命铁观音院。熙宁元年（1068）又赐名圣寿观音禅院，南宋绍兴二十二年（1152）改名广福改名观音禅寺。元末寺院毁于兵乱，仅存铁观音。明武二年（1369）寺院在今所重建。明宣德八年（1433),僧昙壁又铸铁佛三尊，主佛释迦摩尼佛，高4米，左右的文书和普贤菩萨，各高25米，三尊佛像均作跏趺坐。其数百年后，寺院屡毁屡建，而铁佛仍然完好。解放后1963年3月，浙江省人民委员会公布湖州市铁佛寺铁造像为重点文物保护单位。“文化大革命”时，前殿三尊铁佛被毁，仅宋铸铁观音幸存。1979年文物管理部门对铁佛寺进行改善。1981年4月13日，浙江省人民政府重新公布铁佛寺为重点保护单位。后因前殿部分梁柱霉变，1996年湖州市佛教协会募资27万元加以修葺、粉饰。今前殿为砖木结构，硬山顶，梁架结构明间、次间为抬梁式，稍间为穿斗式，面宽5间，长度约18.4米，进深9.6米，建筑面积176.64平方米。前殿现供铁观音等佛像。后殿也是砖木结构，硬山顶，面宽3间，长度为13.9米，进深12.1米，建筑面积为168.19平方米。后殿供奉释迦牟尼等佛像。

铁佛寺是以铁观音命名的，佛教的禅宗与遵守清规戒律的律宗完全不同，禅宗敢于突破旧的束缚，特别是在艺术领域中追求新的意境，如隋唐时湖州禅僧智永，皎然等均在艺术上有极深的造诣；北宋湖州禅僧鉴真铸铁观音，开了观音由男相转变为女相的先河。铁观音高2.15米，体态丰盈，侧身微转，赤脚露趾，头梳发髻，低头含嫣，情趣内向，显得志圣高洁，具有东方女性特征。像身衣纹简练流畅，层次分明，不仅有柔感，而且富有肌体感。据说观音是救苦救难的菩萨，故铁观音造像时，其长服呈现向后摆动之势，犹如缓步走向世俗，含有普度众生之意。这尊铁观音以形写神，形神兼备，既有情趣，又有动势，已冲出佛教造像肃穆的规范，显示了湖州禅僧鉴真的高超艺术。湖州出了这样一个僧禅，也值得湖州人骄傲。这座铁观音对后世文人也有很大影响。明代宋雷在《西吴里语》一书中对铁观音的评价很高，认为是“端丽飘逸”。

据《长兴县地名志》载：“柏家桥为明隆庆初年长兴县丞吴承恩住房居住在此，公事之暇，创作和修改《西游记》。”柏家桥今在长兴县城长安路。《西游记》作者吴承恩系淮安府山阴县（今江苏淮安市）人。他的故乡邻泗州大圣（及僧伽）的发迹地泗州（今安徽泗县。泗州大圣御景龙二年（708）为中宗所宠，中宗曾庆书“普光王寺”额赐给他，四周大圣一时称为救苦救难的活观音，吴承恩熟悉泗州大圣的历史，他在长兴县任职时，将铁佛寺女性观音的形象和飞英塔一手执净瓶一手持杨枝的石刻佛像泗州大圣融合在一起，塑造了《西游记》中的观音艺术形象。

吴氏《西游记》十六-十七回有观音享受人间香火的“观音禅院”这是极妙的吻合。