既然皇帝都要把孟浩然放归了，那京城是留不住了，只有悻悻启程。王维执手相送一程又一程。说来也怪，王维和李白几乎是老死不相往来，孟浩然和他们却都能分别做好朋友，人以群分在这里只有了一半的效力。
王维看着孟浩然落魄的样子实在不忍，于是披肝沥胆的做了一首赠别诗，开导了孟浩然一番：
《送孟六归襄阳》
杜门不复出，久与世情疏。
以此为良策，劝君归旧庐。
醉歌田舍酒，笑读古人书。
好是一生事，无劳献子虚。
“杜门”是“堵门”的通假，意思是闭门不出的意思。
“子虚”是个典故，汉司马相如作《子虚赋》，假托子虚、乌有先生、亡是公三人互相问答。这也是成语“子虚乌有”的来历。王维是在说：
君在家中长时间闭门不出，
世间人情世故早已经生疏。
我这里为你献上一条良策，
劝告你回到鹿门山的旧屋。
醉借酒意在田间纵情高歌，
兴之所至翻一翻圣贤之书。
这正是你这一生正确的事，
不要学相如妄想朝堂立足。
这话听着刺耳，恰是王维的真心，他世代名门，既有敏锐的政治目光，又有识人之明，他对孟浩然的了解甚至高于孟浩然的自知。
孟浩然也不是不识好歹之人，对于王维情真意切的劝告，他倍受感动，回赠一首《留别王维》
寂寂竟何待，朝朝空自归。
欲寻芳草去，惜与故人违。
当路谁相假？知音世所稀。
只应守寂寞，还掩故园扉。
孟浩然的意思是说：我在长安混的这么惨，也没什么盼头了，现在就要回去隐居了，只是可惜不能和你王维在一起了。朝中的大佬们谁能再拉我一把啊，除了你王维，我在这世上恐怕再也没有知音了。看来我的命里只能是孤独寂寞的终老田园了。
其中的“欲寻芳草”借用《离骚》中对芳草、芝兰的用法，表达了自己高洁的志向，也就是说要归隐了。“当路谁相假”一句中信息量大一些，其中“当路”是指“执掌权柄的人”，“相假”是指“互相借力、扶持”。
其实从这首诗里能看出孟浩然还是不死心，只是求仕无门而已。
就这样，开元十七年（729年），孟浩然离开长安，不过他可按照王维画的圈去做，而是继续外出游历，由此看出，孟浩然家境不错，随时都能开启“想走就走”的旅行。
离开长安不久，他结识了一位曹姓御史，这位曹大人很欣赏他的才华，陪他旅游了一段时间后，表示愿意正式上表推荐他。彼时的孟浩然正在伤心怀才不遇，写了一首《同曹三御史行泛湖归越》的诗委婉的拒绝了他，诗的最后两句是“杳冥云外去，谁不羡鸿飞”，那意思是说哥们这闲云野鹤的生涯你们羡慕去吧。
但是，很快孟浩然的心思又开始活泛，大约在开元二十年（公元732）左右的一个深秋，又一次在长江下游游历，目睹萧萧落叶、大雁南飞，睹物思情，又写下一首《江上早寒有怀》：
木落雁南度，北风江上寒。
我家襄水曲，遥隔楚云端。
乡泪客中尽，归帆天际看。
迷津欲有问，平海夕漫漫。
这首诗的诗眼在最后两句，用的是《论语·微子》孔子派子路向隐者长沮、桀溺问津（渡口）的典故，长沮、桀溺两位不回答津（渡口）的所在，反而劝说孔子“滔滔者天下皆是也，而谁以易之”。其中，孔子代表“入仕”，长沮、桀溺代表“隐逸”。孟浩然是在说，自己也想问问，这渡口在哪里，可是“平海夕漫漫”，无从问起。
开元二十二年（734年），赏识孟浩然的张九龄正式拜相，于是他第二次前往长安求仕，可惜也没有什么确切消息，于是他当年又回到了老家。
也就是这次见张九龄不果，使孟浩然错过了可能是祖先拯救了银河系换来的一次机会。
那是在开元二十三年（735年），韩朝宗为襄州刺史，十分欣赏孟浩然，准备邀请他一起赴京，予以大力推荐。这位韩朝宗在推荐人才方面大大有名，虽然没有特别成功的推荐案例，但是李白这么孤傲的人，号称“安能摧眉折腰事权贵”，也曾经给韩朝宗写过一封求助信——《与韩荆州书》，其中李白低到尘埃里赞颂韩朝宗的声望——“生不用封万户侯，但愿一识韩荆州。”
就是这样一位韩大人，在约定时间等着孟浩然一起上路的时候，孟浩然却爽约聊聊，韩朝宗让自己的仆人去孟浩然那里看看情况，结果发现这位正在那里跟朋友喝酒呢。也有人提示他，哎，今天不是你和韩大人约好上路，结果孟浩然说，已经喝起来了，那里还管别的事。韩朝宗得到回报，鼻子都气歪了，愤然上路。结果孟浩然酒醒后也没有采取什么补救措施，反而号称“无悔”（采访使韩朝宗约浩然偕至京师，欲荐诸朝。会故人至，剧饮欢甚，或曰：“君与韩公有期。”浩然叱曰：“业已饮，遑恤他！”卒不赴。朝宗怒，辞行，浩然不悔也。）。
据我分析孟浩然的心理，要么是觉得我都走了当朝宰相的路子了，有你一个韩朝宗不多；要么就是张九龄那里有了明确的不利消息，谁推荐也没戏了。
我感觉，后者的可能性更大。如果孟浩然还有入仕的机会，除非他脑子秀逗，不会干出这么破罐子破摔，自绝于韩朝宗的事来。
既然没跟韩朝宗走，那就有时间了，所以他在当年接受朋友崔国辅之约而东游越剡，在途经武汉的时候，与李白相会在黄鹤楼，这才有那首著名的《黄鹤楼送孟浩然之广陵》
故人西辞黄鹤楼，
烟花三月下扬州。
孤帆远影碧空尽，
唯见长江天际流。