南亭之游（参见《游南亭》）后，谢灵运开始了他在永嘉境内的探奇搜胜。一方面山水并不能真正抚平他心中的幽愤，所以这一段时间中，他的诗中经常出现“倦”游的字样；然而另一方面，山水又时时给他以新的感受，使他失去平衡的心态，至少获得宣泄而趋于暂时的平衡。也就在这种徬徨徜徉中，他确立了自己山水诗鼻祖的地位，这或许是他自己始料所未及的吧。

赤石在永嘉郡南永宁（今浙江永嘉）与安固（今浙江瑞安）二县中路之东南，去郡约有数十里，东濒今日的温州湾。帆海，注家常以为地名，其实可商，据宋郑缉之《永嘉郡记》，“帆游山，地昔为海，多过舟，故山以帆名”，在安固县北。灵运所谓帆海之地，当在此山一带。但郑记并未说有帆海地名，因此帆海二词当是动宾结构，题意似为游览赤石，进而扬帆海上。诗的重点在帆海，游赤石只是引子。

诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。

“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。

然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。

出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。

方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。

此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。