相传 汉 末 吴郡 陆绩 为 郁林 太守，罢归少行装，舟轻难以渡海，因取巨石镇之。至 吴 ，弃石于 娄门 之野。人称其廉，号“郁林石”。石留民间，至 明 时犹存。

弘治 中巡按御史 樊祉 使人移置察院之侧，作亭覆之。命名为“廉石”。 清 康熙 间 陈鹏年 为 苏州 太守，修葺郡学，将石移至郡学内，为 苏州 古迹之一。参见“ 鬱林石 ”。参阅 唐 无名氏《大唐传载》、 明 侯甸 《西樵野记·郁林太守石》、 清 朱象贤 《闻见偶录·廉石》。

比喻清廉的家风。

清 钱谦益 《陈大绶父时霖加赠中宪大夫太仆寺少卿制》：“环堵萧然，坐客之寒毡未改；门庭寂若，传家之廉石犹新。”