寂鉴在佛教中寂灭鉴戒的意思。先静心，方能见自性，要不断自省，修正，方可得道。

相传，东晋支遁禅师就曾再此开山。南北朝宋文帝元嘉年间，会稽太守张裕在此建宅，后舍宅为寺。南宋年间，又成了秘书监张廷杰的别墅。元至正十七年（1357）道在和尚在此集资建造寂鉴寺三座石屋。2006年被国务院公布为第六批“全国重点文物保护单位”，是江南仅有的仿木结构的石屋，它始建于元代至正十七年至二十三年，整整用了六年时间凿刻而成，石屋门面朝南，正门两侧立柱上刻有对联一副“貌象和乾坤并老，香延与天地同春”。

石屋内前后共有6个藻井。中间刻着两条游龙，神态威武，正中屋顶叠成穹窿状，共11层，每层各异，顶上刻着莲花瓣，中心是阴阳八卦观鱼图，把僧道有缘的思想，有利的融化到建筑构思中。如此精美的石屋，其实跟皇家也是有关的。梁上一个“赐”一个“敕”字。在元朝的时候，蒙古贵族非常信奉佛教，以致到了建寺庙都必须皇帝亲自御批才行，这就是“赐”字的由来。西天寺里供奉着的是三座石观音，她们分别求寿、求子、求平安，特别是中间的求子观音，特别灵验。