高力士原本姓冯，幼年时名叫冯元一。他的家族，上溯到曾祖父和更早的时代，那是极为显赫的一个大家族。
他的曾祖冯盎，在隋文帝时先后任过县令、刺史和太守等职；在隋炀帝时曾随驾征伐辽东，升任左武卫大将军，成为皇帝的近臣。隋末天下大乱，英雄豪杰乘势而起。冯盎也乘机扩展势力，在岭南拥有“二十余州，地数千里”，成为雄视一方的霸主。
李唐王朝乘隋末乱世起兵建国后，首先致力于削平北方各地的割据群雄，到武德四年（621），以大将李靖为岭南抚慰大使，招抚岭南各州。次年7月，冯盎归服。唐朝廷将冯盎所献地区划分为八个州，授予他上柱国、高州总管，封为越国公，仍由他管辖这些地方。同时，冯盎的两个儿子也被任命为刺史。冯氏父子，以隋朝遗臣而摇身一变，又成为李唐的新贵。
再从冯盎上溯其家族历史，可以知道冯氏的远祖，原来居住在北方。五胡十六国时期，社会大动乱，冯家辗转迁徙，最后托身于越族聚居的岭南地区，并逐渐发展成为一支重要的政治力量。
在冯氏家族的女性先祖当中，有一位声名威扬的洗夫人（民间传说本名阿英），即冯盎的祖母。洗夫人的母家，世代为南越族的首领，跨山据洞，其部落之众多达十万余家。这样的家族，在南北朝时的岭南少数民族中，势众财雄，有举足轻重之威望。
这位洗夫人，至今在海南岛和她的家乡湛江地区，仍被民间尊奉为“婆祖”、“姑太”。史书记载，洗夫人聪慧贤明，富于谋略，长于筹划。成人之后善于约束抚慰部众，并具有出征用兵的军事才能，是位勇谋兼备的少数民族女英雄。
洗夫人在母家的志行美名，被当时的罗州（今广东化州县）刺史冯融所熟知看重，便礼聘娶她为儿子冯宝的妻子。冯宝任高凉（今广东阳江县）太守。冯洗两姓联姻，具有强烈的政治色彩，它是岭南地区汉、越民族融合发展的重要标志。
冯氏家族迁至岭南后，虽然几代都担任地方长官，但由于是羁旅他乡，因而号令难行。冯融洞察情势，巧妙地运用联姻策略，打破了这种长期相持的僵局。洗夫人由越族女儿变成汉家之妇，这特殊的身份和家族关系，使得她在民族团结发展的事业中，发挥了独有的杰出才能。洗夫人及其后代，自南朝梁、陈至隋、唐，统治管理广东南部地区达百年之久。洗夫人卒于602年，享寿达91岁。她生前被隋文帝册封为谯国夫人，死后赐谥号诚敬夫人。
冯氏家族的声威势力，在隋唐之际达到了最盛期。与此同时，潜在的危机也发展。冯氏势力的扩展，一是与岭南越族的其他豪强大姓发生矛盾冲突；二是与唐朝巩固统一，加强中央集权的国策相冲突。
冯盎据八州之地，野心勃勃，于高祖李渊在位末年，就以武力反唐。唐太宗即位后，以软硬兼施之策对付冯盎，暂时缓和了几方面的矛盾。贞观五年（631），在唐中央的恩威并用下，冯盎入京朝贡，进一步表示对李唐的服从。
冯氏雄据岭南，正是中原分裂时期。而统一全国并日益强盛的唐朝，是不能听任地方割据势力分割国家的土地、人口，甚至与中央分庭抗礼的局面长期存在的。所以，唐中央一再采取措施，削弱地方割据力量。贞观初年，唐太宗下令依天下山川形势，划分全国为十道（监察区）。其中岭南道包括五岭之南73州及安南都护府，即包括今广东、广西一带地区。
到了唐高宗上元二年（675），唐中央开始直接选派官员到岭南任职，逐步代替“土官”（即就地任命地方豪强和种族首领为政府官员）。这种政策在一定程度上加强了中央对南方地区的直接统治，对地方割据势力的削弱打击也是显而易见的。
不消说，冯氏家族的势力一直是受到唐中央密切关注的。贞观二十三年（649），冯盎去世。次年，唐中央将高州都督府的辖地分割为高、恩、潘三州，以冯盎的儿子和侄子分任各州刺史。这显然是为了分散弱化冯氏势力。
冯盎兄弟三人，他们的儿子辈多达数十人，仍然具有雄强威势。冯盎的几个儿子都任刺史职务，其中有一人娶礼部尚书许敬宗之女为妻。但从冯盎的孙辈开始，冯氏家族的势力急剧衰落下来，“名登仕版”的人几乎没有了。
？
