王安石被罢黜宰相之职后，退居江宁，住在钟山附近。每次出门就骑着一头小毛驴，带着一个受过黥刑的仆人。他家的下人有时也劝他，这么大年纪了，还是坐着肩舆出门比较好。王安石却说，古代的王公大臣再怎么胡作非为，也没有把人当成牲畜的。所以王安石很珍爱自己的这头小毛驴。有一天，王安石的一位朋友来看他，见他正在睡午觉。这位朋友就悄悄骑着他的毛驴出去了。等他回来的时候，王安石已经醒了，见此情景，故意吓唬他道：“你一个读书人竟然敢偷偷摸摸地骑我的驴，该当何罪?”。这个朋友赶紧赔不是，并愿意自罚。王安石缓缓的说道：“那就罚你作《松声诗》一首吧”。于是这位朋友徐徐吟道：“万壑摇苍烟，百滩渡流水，下有跨驴人，萧萧吹冻耳。”吟诵完毕，二人抚掌大笑。
王安石的这位朋友就是俞紫芝。俞紫芝，号秀老。为人高迈脱俗，放逸不羁。一生不做官不娶妻。于佛经颇有心得，曾经写过十首道歌，被广为传唱。他还擅长写诗。王安石非常推崇他的诗歌才华，甚至将他的一联诗“有时俗事不称意，无限好山都上心”，亲手写在自己的扇面之上。王安石还在给俞紫芝的唱和诗中写到“新诗比旧增奇峭，若许追攀莫太高”，意思是说，你的新诗比之前的诗更加雄健不俗，如果允许我的诗句能赶上你，你就不能写的水平太高了。对俞紫芝可谓推崇备至。
王安石与俞紫芝是至交好友，他写给俞紫芝的诗有十首之多。其中有一首诗，对俞紫芝给予了极高的评价。其诗如下：
示俞秀老二首之一
王安石
君诗何以解人愁，
初日红蕖碧水流。
未怕元刘妨独步，
每思陶谢与同游。
您的诗为什么能排解人的忧愁，是因为您的诗句如同初升的朝阳，映照着悠悠碧水之上的红色荷花，令人赏心悦目。即便是元稹、刘禹锡这样的高手也不能阻止你独步诗坛，我认为只有陶渊明和谢灵运能这样的人才有资格和您交游。
俞紫芝现存的诗篇不多，散见于各类笔记和诗话中。其中最受推崇的是下面的两首诗。
宿蒋山栖霞寺
俞紫芝
独坐清谈久亦劳，
碧松燃火暖衾袍。
夜深童子唤不起，
猛虎一声山月高。
这首诗的首句中“独坐清谈”，令人难解。既然是独坐，又和谁清谈呢?或者是另有玄机。除此之外，整首诗非常易懂，无需解读。“猛虎一声山月高”，在许多宋人笔记都提到，这一句诗最为王安石所称赏。
无题
俞紫芝
深深画陌倚朱门，
腮粉轻红湿泪痕。
寂寞绣屏人未见，
杏花疏雨立黄昏。
黄昏时分，空中飘洒着稀疏的细雨，长长的巷陌之中，一个女子倚着朱红色的大门，她涂抹着轻红的粉的腮上，有残留的泪痕。大门打开了，只有锦绣的屏风寂寞地立在那里，人却不见了。原来她又到了一株杏花树边，默默地站在那里。
尾句“杏花疏雨立黄昏”与“落花人独立，微雨燕双飞”意境相似。令人低回不已。
俞紫芝的诗传世不多，已经无法窥其堂奥。但仅从这两首诗，就可以看出其文辞清新自然，诗风闲淡悠远。虽然比肩陶渊明、谢灵运评价过于夸张，但是与宋代的隐逸诗人林逋、魏野相比，却不逊色。
