马嵬事变后，皇太子李亨与父皇分兵分途，会合从潼关败退下来的部分兵马，兼程北上，赶到朔方节度使的治所灵武（今宁夏灵武）。这里是唐朝精兵集中的地区之一。7月13日，李亨在灵武即位称帝（肃宗），改年号为“至德”，然后调集部署各路军队，一路进兵河北，一路收复长安。
8月12日，灵武派来的使臣到达成都。玄宗得知太子即位，尊自己为太上皇，对高力士说：“吾儿继承大位，顺应天意民心，改年号为至德，是孝而又孝的意思。你和朕还有什么可忧虑的呢？”
高力士心情沉重地答道：“陛下亲理朝政四十多年，天下太平无事。突然之间两京失守，百姓流离，西蜀和朔方成为两个皇帝暂居之地，黄河南北直至汉水的大片河山变成战场，天下臣民，无不痛心疾首。而陛下却对臣说还有什么可忧虑的！臣实在不敢赞同。古人说过皇上忧愁是臣子的耻辱，皇上蒙受耻辱臣子就该身死。为皇上之忧而耻，为皇上之耻而死，是做臣子的本分。微臣不孝不忠，枉活到今天，听了陛下刚才的教诲，臣深感不安。”随驾在蜀避难期间，高力士被玄宗封为齐国公。返回长安后，又授开府仪同三司。
至德二年（757）9月，肃宗指挥大军收复了长安，随即派人入蜀奉请太上皇返京。当高力士和陈玄礼护卫玄宗沿旧路于11月返至凤翔时，随驾禁军只剩下约600人。肃宗派亲信宦官李辅国带3000精骑迎驾。稍作休整后，玄宗在骑兵簇拥下，三天后进入长安。肃宗为太上皇组织了盛大热闹的迎接仪式，让他仍居住在兴庆宫。
这时的太上皇，已是73岁的老翁了。宫殿依旧，人事已更，他真正成了“高居无为”之人，不再管理天下事务了。次年冬天，玄宗与高力士来到临潼华清宫重游，昔日的繁华景象，早已变成满目凄清。对杨贵妃的思念，使玄宗的清静日子过得并不怎么愉快。
这时，安禄山已被儿子安庆绪杀死，但叛乱并未平息。肃宗忙于军政，还不时前往兴庆宫看望太上皇。为了让太上皇过得快乐，肃宗命女道士玉真公主（玄宗之妹）、旧宫女如仙媛、内侍王承恩和魏悦，从前的一些梨园弟子，同高力士、陈玄礼一起陪伴侍奉在兴庆宫内。
兴庆宫南面的长庆楼，下临大道。过往的百姓，看到太上皇在楼上时，总要参拜欢呼“万岁”。玄宗也常在楼下设宴招待这些臣民。有一次，遇到四川来京奏事的官员，就由玉真公主和仙媛作主接待，赏赐酒饭。
在受到太上皇接待的人当中，有羽林大将军郭英。这件事引起了性情多疑的肃宗的敏感。特别是乾元二年（759），官军在相州（今河南安阳）吃了一个大败仗，叛军重占了洛阳，形势不容乐观。于是，太上皇的这些举动，使得肃宗心疑他与外人交往，将有所图。宦官李辅国也乘机进言道：“南内（兴庆宫）可能有别的图谋。陈玄礼和高力士会利用太上皇的威望，不利于陛下。”
接着，李辅国又鼓动禁军将士叩头号哭，请将太上皇安置到西内（太极宫）。肃宗心中忧虑而伤感，沉默无言。
上元元年（760）7月18日，李辅国以肃宗的名义，将兴庆宫中的300匹御马撤得只剩下10匹。太上皇无可奈何，对高力士说：“吾儿被李辅国所迷惑，不能尽孝至终了。明早你与我一起到北内（大明宫）去。”
次日一早，高力士陪着太上皇来到大明宫。肃宗派人传话：“近几天患疹病，不能亲起拜迎。请太上皇在这里吃早饭。”饭毕，肃宗又传话：“请太上皇先回兴庆宫。”
太上皇一行出了大明宫，没走多远，身后传来急促的马蹄声。回头一看，只见李辅国带着几百名铁甲骑兵，手持白刃，冲过来将他们四面围住。李辅国大声喊道：“皇上觉得兴庆宫地势低下狭窄，让我迎太上皇迁到西内去。”说着上前来抓太上皇的座马。事态突然，太上皇惊得差点跌下马来。高力士急忙喝道：“李辅国不得无礼！”
李辅国对他从前的首领叫骂道：“你这老家伙还不知趣，给我闪开！”说着手起刀落，砍了高力士身边的一个随从。而高力士毕竟是经历过大场面的人物，他奋不顾身冲上前去，抓住太上皇的马缰绳，大声争执道：“李辅国，你怎么可以如此惊吓太上皇！不管有什么意外变化，也不能不讲朝廷礼仪。你赶快下马，再对太上皇说话。”李辅国本是出身低贱的飞龙小儿，在老皇帝和老上司面前，还未曾敢有半点张狂，只好下马行礼。
高力士又转身对骑士们说道：“太上皇让我向大家问好！”骑士们一齐收起刀剑，下马拜伏，高呼“万岁”。接着，高力士又叫李辅国和他一起为太上皇牵马，来到太极宫。
李辅国走后，太上皇老泪纵横，对高力士说：“今日要是没有你，我就成了刀下鬼啊！”直到天快黑时，才有十几名老宫女带着太上皇的日用起居衣物到来，其他的随从一见，都哭了起来。
当晚，太上皇就在甘露殿安歇。他睡不着，叹息了几声，对高力士唠叨：“兴庆宫是我做藩王时住的地方，我几次让皇儿去住，他仁义孝顺，不肯接受。今天虽说是被李辅国逼着离开了，也正合我的本意。力士，你吩咐管膳食的，从明天起，不要再做肉食荤菜，斟酌做些清素饭菜就行了。”
第二天起来后，高力士让宫女们打扫殿庭，清除杂草，收拾清洁之后，陪着太上皇谈论佛教与道教的经义，免得他感到太寂寞。高力士想法子找些杂七杂八的话题，希望太上皇能够高兴，不去多想迁居这场不愉快的事。
又过了几日，高力士患上疟疾，搬到不远的功臣阁去养息。有天傍晚，门外传来人声，高力士隔门一问，才知是宦官啖庭瑶，声称是皇帝传唤力士。高力士忙问：“你见过太上皇了吗？”啖庭瑶回答说：“刚见过了。”
高力士不敢怠慢，跟着啖庭瑶来到宫门外，等了一会，只见一名宦官拿出一卷文书递给他。高力士一看，上面写的是应该免职的文字，不等他看完，文书就被要了回去。高力士心中早就有所预料，就求那个宦官传话给肃宗说：“臣早就罪该万死了，只因皇恩浩荡，才活到今天。不过文书上所列罪状，我实在不知道。臣只有一个心愿，就是能亲自向太上皇告别，然后受刑，死而无怨。”
第二天，肃宗颁下诏书，严词斥责高力士：“私通逆党，暗助凶徒，怀无君无父之心，应处杀头之刑。姑念其长期在宫中侍奉，效有勤劳，且免死罪，削去官爵，流放巫州。”
与此同时，俭朴忠厚的禁军老将陈玄礼被迫退休回家。原来在兴庆宫侍奉太上皇的宦官王承恩被流放播州（今贵州遵义），魏悦被流放溱州（今四川綦江），如仙媛被流放归州（今湖北秭归），玉真公主被令重返道观。可怜垂暮老弱的太上皇身边，连一个相伴的旧臣也没有留下。随后，肃宗另派了百余名老弱宫女，担任太极宫的洒扫杂役；让两个妹妹（太上皇的女儿）万安公主和咸宜公主，负责照料太上皇的饮食起居。
太上皇被迁居西内，实际上是被软禁起来。高力士等人被贬逐之后，太上皇的精神也垮了下来，他的心情抑郁，自然积成疾病。在太极宫住了一年又八个月后，太上皇于宝应元年（762）4月5日，病逝于神龙殿，享寿78岁。过了十三天后，4月18日，长期染病的肃宗皇帝也追随其父之后驾崩，亨年52岁。两天之后，新皇帝即位，史称代宗。这些都是后话。
？
