一石一世界，一拳一江山。赏石者，静而观之，仁者乐山之遗意也。
《云林石谱》为北宋末、南宋初杜绾所撰，是我国现存最早、最完整的一部赏石专著，向与《宣和石谱》《渔阳石谱》并称“石谱三书”，于赏石文化史有开山之功。
杜绾，字季扬，号云林居士，山阴（今浙江绍兴）人，为北宋宰相杜衍之孙。其书彚载石品凡一百一十有六，各具出产之地、采取之法，详其形状色泽，而第其高下。所录不独假山清玩，端溪之类兼及砚材，浮光之类兼及器用，故提要谓之“不但谱假山清玩也”。
书分上、中、下三卷。卷上多记江南、京畿名石，卷中记川陕、岭南诸石，卷下兼收砚材、玛瑙、化石之属。所载产地今可考者，遍及今皖、苏、浙、鲁、豫、湘、鄂、粤、赣、桂、川、陕、甘、晋、京等二十余省区，恰是一部“宋代全国赏石地图”。
卷前有绍兴癸丑（一一三三）孔传序，称杜绾“为好石乃乐山之意”，“读是谱者，知居士之好古博雅”。今本所附《宣和石谱》《渔阳公石谱》为后人窜入，原书正文仍存其真。
宋代米芾论石，提出“瘦、皱、漏、透”四字，后世奉为相石圭臬，与《云林石谱》所重“嵌空穿眼、宛转相通、扣之有声、色质温润”正相印证。
盖石之奇，不在大小，而在“以一拳之石，蕴千岩之秀”。明人计成《园冶》、文震亨《长物志》皆承此论；清人更以“皱瘦透漏”相石之“雄奇秀韵”。四字之外，古人又贵石之声（扣之铿然）与石之色（温润可鉴），此皆《云林石谱》所反复致意者。
《尚书·禹贡》载“厥贡惟球琳琅玕”，瑶琨怪石已入贡赋；禹铸九鼎，“远方图物，贡金九牧”，石为礼器之征。
园林赏石始兴，石崇金谷、陶渊明“醉石”，石由器物升为文人心象；《世说》载桓温、郗超藏石事。
牛李争奇，白居易作《太湖石记》谓“石无文，欲其有文；石无声，欲其有声”；李德裕《平泉山居草木记》，为赏石立谱之先声。
文人赏石蔚为大观：米芾拜石、东坡赏石并著《怪石供》，徽宗艮岳集天下奇石；杜绾成《云林石谱》，集其大成。
《园冶》《长物志》承相石之论，赏石与园林、书斋、案头清供相融；雨花石、寿山石等新谱迭出。
赏石由文人之雅走向大众之乐，灵璧、太湖、英德、昆山四大名石与各地水冲、戈壁、玛瑙诸石争奇斗妍，赏石文化焕发新机。
米元章知无为军，见衙署奇石“瘦皱透漏”，具袍笏而拜之，呼为“石丈”。后世“米颠拜石”成为文人痴石之最高典范。
苏东坡得绿白二石，目为“仇池石”，作《双石》诗与《怪石供》，尝言“园无石不秀，斋无石不雅”，为文人赏石立言。
徽宗筑艮岳，聚“太湖、灵璧”之属，“括天下之美，藏古今之胜”；靖康之难后，艮岳石散落民间，今江南名园犹有遗踪。
牛僧孺与李德裕皆好石，牛蓄太湖石“连城同价”，李营平泉庄“怪石名花”；《云林石谱·平泉石》即记李德裕故物。