此詩前兩句首先描繪出一位貧婦的畫像：她鬢雲散亂，頭上彆着自制的荊條髮釵，身上穿着當年出嫁時所穿的布裙，足見其貧困寒儉之甚（「世所稀」）。這兒不僅是人物外貌的勾勒，字裏行間還可看出一部夫婦離散的辛酸史。《列女傳》載「梁鴻、孟光常荊釵布裙」。這裏用「荊釵」、「布裙」及「嫁時衣」等字面，似暗示這一對貧賤夫婦一度是何等恩愛，然而社會的動亂把他們無情拆散了。「布裙猶是嫁時衣」，既進一步見女子之貧，又表現出她對丈夫的思念。古代征戍服役有所謂「及瓜而代」，即有服役期限，到了期限就要輪番回家。從「正是歸時」四字透露，其丈夫大概是「吞聲行負戈」的徵人吧，這女子是否也曾有過「羅襦不復施，對君洗紅妝」（杜甫《新婚別》）的誓言，那是要讀者自去玩味的。

於是，三句緊承前二句來。「胡麻好種無人種」，可以理解爲賦（直賦其事）：動亂對農業造成破壞，男勞動力被迫離開土地，「縱有健婦把鋤犁，禾生隴畝無東西」，田園荒蕪。如聯繫末句，此句也可理解爲興：蓋農時最不可誤，錯過則追悔無及；青春時光亦如之，一旦老大，即使徵人生還也會「縱使相逢應不識」呢。以「胡麻好種無人種」興起「正是歸時底不歸？」實暗含「感此傷妾心，坐愁紅顏老」意，與題面「懷良人」正合。

這還不能盡此句之妙，若按明人顧元慶的會心，則此句意味更深長。他說：「南方諺語有『長老（即僧侶）種芝麻，未見得。』餘不解其意，偶閱唐詩，始悟斯言，其來遠矣。胡麻即今芝麻也，種時必夫婦兩手同種，其麻倍收。長老，言僧也，必無可得之理。故云。」（《夷白齋詩話》）原來芝麻結籽的多少，與種時是否夫婦合作大有關係。詩人運用流行的民間傳說來寫「懷良人」之情，十分切貼而巧妙。「懷良人」理由正多，只託爲芝麻不好種，便收到言在此而意在彼、言有盡而意無窮的效果。所以，此詩末二句兼有賦興和傳說的運用，含義豐富，詩味咀之愈出，很好表達了女子「懷良人」的真純情意。用「胡麻」入詩，這來自勞動生活的新鮮活跳的形象和語言，也使全詩生色，顯得別緻。

絕句「宛轉變化，工夫全在第三句，若此轉變得好，則第四句如順流之舟矣」（楊載《詩法家數》）。此詩末句由三句引出，正是水到渠成。「正是歸時底不歸？」語含怨望，然而良人之不歸乃出於被迫，可怨天而不可尤人。以「懷」爲主，也是此詩與許多怨婦詩所不同的地方。