高力士于上元元年（760）7月28日被除名流放。从京城长安到巫州（今湖南黔阳境内），行程3100里，一路涉水渡河，爬山越岭，9月30日才到达，历时两月之久，可谓艰难劳顿。至巫州时，高力士身边从者不过10人，所带衣物粮食只够数月用度。
在巫州首尾三年时间中，高力士忧惧度日，强打精神，期盼着赦令下达。早在官军收复长安之后，李辅国就已蒙蔽肃宗，专权胡为。凡是被李辅国一伙整治的人，先抄没其家财，不判死刑就被流放。五六年间，先后被流放到黔中道各州的人，上至郡王，下至州县官吏，多达两千余人。等到代宗即位后大赦放还的人，只剩下十分之二三了。古人有言道：一朝天子一朝臣。不信任并排斥前期旧官，是新老皇帝权力交替之际的一种普遍现象。高力士等人就是其中的牺牲者。
高力士在巫州期间，与其他被流放的人同病相怜，来往颇多。时过境迁，高力士将亲身经历过的事情，讲给大家。曾经在史馆供职的柳芳，将高力士所谈，编写成《问高力士》。太原人郭获赦后，在代宗朝任过大理寺直和户部员外郎，他将高力士叙述的旧事，撰成《高力士外传》一书，流传后世。
话说到了宝应元年（762）3月28日，肃宗颁下一道诏令：所有贬官流放的一律放还。在驾崩的前两天，又因改年号（宝应）再次大赦天下。6月，皇帝的诏令传到巫州，高力士惊喜之后，立即起程北归。7月，当他行至朗州（今湖南常德市，距京城2000里）境内时，才得知二圣（玄宗、肃宗）已经相继驾崩的噩耗。
高力士在流放期间的一个重要精神支柱，就是有朝一日赦归京城，再与他一生忠心侍奉的太上皇相见。现在，他日夜想念的太上皇仙逝而去。这对满怀希望和喜悦的高力士，实在是难以承受的迎头打击。他面向京城，号天哭地，悲痛异常，几次哭得气绝昏倒。
既然不能活着相见，剩下的唯一心愿，就是早日回归京城，在太上皇的灵前哭祭亡魂。为此，高力士抱病赶路，日夜兼程。然而，他的垂暮之身和哽咽感伤的精神，却都难以再支持下去了。8月18日，高力士一行宿于朗州开元寺西院，他感觉大限已到，便强打精神对同路的郭等人说道：“我今年79岁，已算是长寿了；显达时官至开府仪同三司，也算是贵极人臣了。既显贵又长寿，死去还有什么可遗憾的！唯一的抱憾就是不能亲临二圣灵前号哭祭拜。现在，我要成为这荒远僻地的野鬼游魂了，孤独无依，不知要飘泊到何时……”说着，高力士老泪长流，呼出了胸中最后一缕气息。
高力士病死的消息，由当地官府奏报到京城。9月，他的灵柩从朗州起运。11月，到达襄州（今湖北襄阳）时，代宗特下的诏书传至：念高力士是先朝的耆宿忠臣，今恢复其生前官职爵位，并追赠扬州大都督；灵柩运回京城，陪葬于玄宗陵墓；丧事等一应费用由朝廷供给。
广德元年（763）3月，长达七年多的安史之乱终于平定了。代宗为他的爷爷玄宗举行了安葬仪式。玄宗的泰陵在同州奉先县东北20里的金粟山（今陕西蒲城境内），冷清的墓地旁，陪葬着毕生忠诚的“老奴”高力士。
大历十二年（777）5月时，代宗又命为高力士镌立墓碑，追功表彰。本世纪六、七十年代，高力士墓碑（大唐故开府仪同三司赠扬州大都督高公神道碑）在蒲城被发现。全碑高约4米多，宽约1.4米，碑文共1600余字。碑上铭文最后写道：“惟公之葬，泰陵之下，存殁义同，忠贞无舍，书词刊世，永示来者。”
？§§第四章 鱼朝恩
？
