黄鹤楼送孟浩然之广陵的那年，孟浩然赴京赶考，遗憾的是，孟夫子并没有考中，后来张九龄罢相，出任荆州长史，将孟浩然招致幕府，但是不知道为什么，在张九龄手下，孟浩然也没干多久，就辞职了。
关于这个“幕府”，在唐朝，朝廷委任某个将领出任某使（如都督、行军大总管、节度使、安抚使、招讨使、讨击使或按察使等）时，通常会由这些将领自己去“开府”，也就是自己去组织一个领导班子，不需要经过中书省、门下省的委任和吏部的铨选，只是在程序上向中央报告一下即可。战事结束后，又自行解散。这就是“使府”的由来，也叫“幕府”。
餐霞楼之会以后，胡紫阳继续传道授业解惑，汉东太守继续为官一任造福一方，元丹丘继续云游，元演上仙城山隐居。
话说元演去仙城山隐居，离这苦竹院就几步路的距离，李白讲究，专门送他，仪式感满满，有酒，还有诗，即《冬夜于随州紫阳先生餐霞楼送烟子元演隐仙城山序》
吾与霞子元丹、烟子元演，气激道合，结神仙交，殊身同心，誓老云海，不可夺也。历行天下，周求名山，入神农之故乡，得胡公之精术。胡公身揭日月，心飞蓬莱，起餐霞之孤楼，炼吸景之精气。延我数子，高谈混元，金书玉诀，尽在此矣。白乃语及形胜，紫阳因大夸仙城，元侯闻之，乘兴将往。别酒寒酌，醉青田而少留；魂梦晓飞，渡渌水以先去。吾不凝滞于物，与时推移，出则以平交王侯，遁则以俯视巢、许。朱绂狎我，绿萝未归，恨不得同栖烟林，对坐松月。有所款然，铭契潭石，乘春当来，且抱琴卧花，高枕相待。诗以宠别，赋而赠之。
大家各有各忙，李白却不急着回家，一想，随州离襄阳鹿门山挺近的，不如去看看孟浩然，想到这，李白拍马便走，不多日便到鹿门山。
不曾想，鹿门山不见孟浩然，下山到襄阳孟浩然家里，也不见人，这下可好了，扑了个空。
李白又回到鹿门山，找到孟浩然隐居的石室，此处颇为宽敞，孟家在襄阳，薄有恒产，隐居所住的地方自然不会差，当初这个石室是孟浩然和张子容同住，后来张子容去也，只剩下孟浩然一个人，石室便显得有点空荡荡的了。室内陈设极为简单，一案，案上有笔墨，案下几坛老酒，一盏，灯油已干，一炉，炉内无炭，炉底无灰，一床，帐上可见蛛网，总之一句话，孟浩然已有些时日没有回着鹿门山了。
但毕竟，隐居不是苦修，有时候肚子饿了，或遇有贵客到，石室招待不了的，孟浩然便或领着客人，下山回家。
李白也在这石室住下，入夜，李白少了一壶开水，泡上好茶，又给自己满斟一杯，饮酒、品茗、听涛、观天，愈想念孟夫子，不由口中吟道：
吾爱孟夫子，
风流天下闻。
红颜弃轩冕，
白卧松云。
醉月频中圣，
迷花不事君。
高山安可仰，
徒此揖清芬。