金山民间相传有“四大山庄”，即松隐的“剪水山庄”、寒圩的“秦望山庄”、干巷的“流憩山庄”和张堰的“闲闲山庄”。其中“闲闲山庄”建于民国时期，颇负盛名，山庄主人就是蜚声南社的金山籍名士高燮。
高燮，字时若，号吹万居士，室名吹万楼。是我国近代著名的诗人、学者，被誉为“江南大儒，南社巨子”。他为人谦和，善交际，与常州钱名山、昆山胡石亭合称“江南三名士”。中年在家乡秦望山麓建造“闲闲山庄”，建吹万楼，邀四方文人雅士广交朋友，作诗论文传为佳话。
高家为金山望族，富有田产，书香一脉。到高吹万那一代，家境殷实。百事遂顺。1917年，高吹万在张堰用地10亩营建庄园，并取《诗经》“桑者闲闲”之意，为庄园取名“闲闲山庄”，所居有花木回廊之胜。门上书有一联：“苟全性命于乱世，别有天地非人间。”“闲闲山庄”虽是私家庄园，但也建造得有棱有角，错落有致。南社女子中的佼佼者、吹万夫人顾婉娟，作有《闲闲山庄记》。她对“闲闲山庄”有着诗一般的描述：山庄面山结屋，划水成堤，度以小桥，遍植桃柳，危楼开朗，朴而不华；凭栏南望，则秦望山之苍翠，尽览无遗。朝爽夕曛，风致清雅，庄之四围，环绕竹篱，藤萝低垂，红白相间；更外则水田阡陌，满植水稻，池塘三数，植莲养鱼，每当夏秋之交，田父负锄，牧童牵犊，田歌缓缓鸟嘤嘤，居庄内可尽享乡野之乐。
“闲闲山庄”内，建有慈竹室、岁寒桥、六弓湾、柳岸莺啼等建筑。慈竹室，吹万这样写道：“慈竹室，即慈竹长春室之简称。”还有书斋，名“可读斋”，书斋名紧接粮仓，吹万自书门联，“世间惟有读书好，天下无如吃饭难”。近庄有银子湾，吹万出资建桥，取谐音名为“凝紫桥”。又开荒地一块，移植吴中邓尉梅花，称“梅花香窟”。每当花季，与朋辈品茗觞咏，兴味特浓。山庄藏书处曰“食古书库”，聚书三十余万卷。吹万雅好《诗经》，举凡善版孤本宋元铅椠注疏论辩编纂无不齐全，不下千余种。吹万辟有一室专以汇聚《诗经》，取名“葩庐”，自号“葩叟”。坐拥书城，陶醉其间。
有了闲闲山庄，吹万与南社诸子广通声气，四方宾客纷至沓来。南社诸君陈巢南、傅纯良、胡朴庵、柳亚子、刘三等时以诗文相往还，可谓是神交遍海内。如南社著名画家黄宾虹就多次下榻山庄，为吹万绘有《闲闲山庄图》，水墨之外薄施赭绿，颇具神韵，宾虹引为得意之作。
高吹万在“闲闲山庄”著书写作20年，经常邀集友人饮酒吟诗，快活之极。高吹万著作宏富，主要著作有《吹万楼文集》《吹万楼诗集》《吹万楼日记节钞》等二十余种。张元济评《吹万楼文集》称：“大文捧诵，觉其意境恬逸，每读一篇，辄欲求其次，惟恐或尽。”
然而好景不长，1937年11月5日，日军从金山卫登陆，张堰镇首当其冲，山庄先是遭到洗劫，接着又被大火焚烧，数十万卷藏书不留片纸，“闲闲山庄”顿成废墟。为此，吹万痛心之极，失声痛哭。自此，山庄被毁，吹万逃难后寓居沪西，有《望江南》词64阕，首阕：“山庐好，虽好不思归，劫后残书聊可读，穷来凭庑尚堪栖，故里且休提！”言语中蕴含着对“闲闲山庄”的深沉痛惜。
高吹万一生嗜书之深，令人敬佩。新中国成立后，高吹万将劫后幸存的有关《诗经》的2614册藏书，全部捐献给复旦大学图书馆。1958年7月，高吹万病逝于上海，享年81岁。逝世时，全国人大常委会副委员长胡厥文特地为他撰写了挽诗，赞曰：“南社早蜚声，金山一代英。笔摇清帝鼎，梦绕岳王坟。革命心肠热，攘夷思想新。遗诗千百首，一读一酸辛。”颂扬了高吹万在南社时期的革命豪情。