李白终被以“从璘附逆”的罪名流放夜郎，时间是三年。李白怎么也没有想到，他不但没有被朝廷任作朝官，“以光朝列”，反而以附逆之罪，被贬流放到在唐人眼中看来是荒无人烟的夜郎（在今贵州桐梓北，一说在今正安西北）边城。宗氏夫人和宗璟送他到江岸，哭得天昏地暗，最后也只得洒泪而别。在李白的眼中，自己还不如江边的向日葵，因为向日葵还能用自己的叶子来护卫自己的根，而自己却被连根拔掉，远移他方，连一点护卫自己的能力都没有。
李白的小船在解差的押解下，逆江而上。船至江夏时，遇到从京师贬来的史郎中，二人同病相怜，一起在黄鹤楼上饮酒听笛。李白顿起迁谪之情，作《与史郎中钦听黄鹤楼上吹笛》诗记之：
一为迁客去长沙，
西望长安不见家。
黄鹤楼中吹玉笛，
江城五月落梅花。
随后，李白又在汉阳遇到了老友尚书郎张谓出使夏口，在沔州太守杜公和汉阳宰王公的陪同下，一起游了汉阳城南的南湖。是夜湖中水月如练，张谓对这里的湖光山色十分欣赏，对李白说：“古往今来，此湖佳景，不知招得了多少文人骚客的青睐，可是此湖连个名字也没有，真是太可惜了，你可给起个好名字，也好传之不朽。”李白看张谓如此喜爱此湖，便以张谓的官名命此湖曰“郎官湖”，席上的人一致称好。汉阳宰王公对李白十分仰慕，特别留他在汉阳逗留了几日，一同游了鹦鹉洲等名胜，才恋恋不舍地送李白西行。
船至荆门山（在今湖北宜昌西），从此向西，江道变窄。此时已是初秋时分，两岸树木萧瑟。李白至此感慨万千。当年他初出蜀时，乘船至此，感到天地突然宽阔开朗，心中有说不出的新奇和高兴。如今他越往西走，越觉得心灰意冷。三十多年了，他的心境、年龄都生了巨大的变化。那春花初放的年纪，那瑰丽如梦的理想，如今都成了过眼烟云。
李白的小船继续逆江而行，前面就是三峡中的黄牛峡。两岸高山对峙，绝壁临江，向上看只见一线青天。江流变得又急又猛，船家无法撑船逆流而上，只得沿着陡峭的栈道拉纤。那条栈道是从峭立的石壁上凿出来的，纤夫们拉着船，艰难地向上游前进。
黄牛峡上，只见高岩上有石如人，负刀牵牛，人黑牛黄。
逆水拉船，船行非常缓慢，栈道上的纤夫出哼唷哼唷的声音。江上的船夫唱起了巴蜀民歌，那歌声高亢中带有凄凉，宛转中含有悲哀：
朝黄牛哟，暮宿黄牛呃。
三朝三暮哟，黄牛如故呃。
……
听着这熟悉而又怆楚的歌声，李白的心情也变得沉重起来。他站在船头眼望着头上的一线青天，再看着眼前光着上身拉纤的船夫，捻须吟道：
巫山夹青天，巴水流若兹。
巴水忽可尽，青天无到时。
三朝上黄牛，三暮行太迟。
三朝又三暮，不觉鬓成丝。
（《上三峡》）
船在逆水中艰难地向前行进，巫山神女峰遥遥在望，李白心潮起伏，他回忆起当年初入三峡的情景：
那是草长莺飞、桃花流水的春天，李白怀着“已将书剑许明时”的雄心壮志，屹立在船头上。他初次见到巫山心中兴奋的心情，直到如今还记忆犹新：
昨夜巫山下，猿声梦里长。
桃花飞绿水，三月下瞿塘。
雨色风吹去，南行拂楚王。
高丘怀宋玉，访古一沾裳。