刘基毕竟是位有血性、嫉恶如仇的人，虽然不愿自己出面，还是要儿子刘琏不经过中书省，直接向皇帝上奏章，报告这件事。这时胡惟庸正以左丞相主管中书省，。俗话说君子报仇，十年不晚，看来胡惟庸还是位君子。以前刘基在朱元璋面前说了他的坏话，没有让他当丞相的一箭之仇，这下正是报复的时机。于是他指使其党羽弄部尚书吴支弹劾他，诬陷他与百姓争夺淡洋，只是因为淡洋位居山海，有王气，刘基想辟之以为墓地，图谋不轨；百姓不肯让给他，他就指派巡检司，借官军的名义逐赶居民，以致激起民变。吴云的弹劾奏文呈上朝廷之后，胡惟庸借机公报私仇，请求皇上加以重辟，并要逮捕刘基的儿子。朱元璋知道这件事之后，觉得刘基也太过分了，皮肤有所动，只是想到刘基是开国元勋，功劳太大，不忍心加罪于他，只是象征性的处分一下，取消其傣禄，并移文传达给刘基，使他知道了这件事。刘基接到了朱元璋的移文后，即刻入朝面见朱元璋，由于心里害怕，不敢辩护，怕进一步惹起太祖的不快，只是引咎自责，请办其罪，也不敢提回家的事。这样一折腾，刘基终于病倒了。
不久之后，胡惟庸被提升为丞相，病中的刘基，在京师听说了这件事之后，痛心疾首，悲伤地说道：“胡惟庸为相，定会出大祸，国家必然会大乱，生灵又将遭受屠戮。假使我的话不应难，那是因为苍生民众有天大的福份；如果我的话应验了，这些芸芸众生怎么办呢？”刘基悲愤交加，积忧成疾，卧床不起，洪武八年三月，朱元璋看到刘基行将就木，大发测隐之心，亲自制表赐给刘基，并派使者护送刘基回乡。回家后，刘基病得更厉害了，只过了一个月，他就带着无限的忧怆，满腹的怨气，离开了人世，终年六十五岁。一代谋士，卓越见识的刘基就这样凄凉的长眠在家乡的山峰上。刘基的死，首先与胡惟庸的进谗加害有关。
史料记载，刘基在京病重之时，胡惟庸曾假惺惺的派医生来给他诊治，医生给了他一些药，吃了一些药，吃了后，腹中就有拳头大小的石头积物。刘基本是一个宽宏大度之人，万万想不到胡惟庸会采取如此卑劣的手段毒害于他，真是以君子之腹度小人之心。其次与朱元璋多疑的本性有关，他对这样一位忠心耿耿的功臣都不放心，为了自己的帝位，什么手段都使得出来。这证明刘基当初请求隐居是完全有远见的，只是他还隐得不彻底，最终还是逃不脱走狗烹的可悲下场。刘基至死都没有忘记对明王朝的效忠。在临终前将自己用心血凝成的着作和预测时势、人事的奏章呈献给朱元璋，表现了一位既激又疏淡，既充满激情又富有柔情的正直谋士的情致。说明了刘基既有飘逸旷达、澄明无滞的气质，又有一颗放不下的心肠，为人生操思的拳拳之心。这是典型儒学人格的象征。
病榻上的刘基，已经是奄奄一息，病得骨瘦如柴了，他把大儿子刘链叫到自己的身边，从枕头下颤颤索索拿出一本发黄的小岫子，交给他说道：“这是一本关于天象人事的书，它凝结着为父多年的军事实践和从政生涯的经验，你要将它交给朝廷，并叫皇上不要让后人学习。”它就是至今也使为觉得神秘莫测的《天文书》。后来，太祖下令此书与《百战奇略》一样，属于机密文件，秘而不宣，终致失传，可谓历史上一大损失。他又将一份奏章交给次子刘景，教诲道：“为政之道，宽猛如循环，要有松有紧，有纵有收。澄清天下之时，应该号令严明，有罪必斩，以法治军；坐天下的时候，尤其是现在，正处在休养生息的关键时期，必须修明德政，减省严刑，实施仁义，祈求永命。知形胜要害之地，要与京师声势相联络。本想作一份遗表，说明上述自己的观点，只是因为胡惟庸在位，作了也没有什么作用，反而会贻害于你们，但我坚信，胡惟庸必定要出事，他事发之后，皇上必定又会思念于我，如果他向你们问起我的情况，你可将这份机密奏乐章献给皇上。”刘景含着眼睛答应了自己的父亲。
再说，自从杨宪和汪广洋相继因罪罢官后，胡惟庸总揽中书省，独断专行，滥用生杀黜陟的权利，逞威，结朋党，营私利。凡是内外各司进奏皇上的封事，胡惟庸先取来观看，有不利于自己的奏章，都被他压下，隐匿不矛上报。朱元璋渐渐觉察到胡的反常浍。加之想起以前刘基对他说过的药石积腹的事情，当时朱元璋还不太在意，认为刘基是多疑，现在回想起来觉得其可能性很大，于是下令追查起这件事。胡惟庸知道事情终会败露，自计道：“皇上草菅旧功臣，怎么会饶恕我？事发是死，起兵反叛也是死，不如先下手为强，不要束手待毙。”胡惟庸又因为同太师李善长相交甚厚，同其弟顾存义结为儿女亲家，故而贪贿弄权，肆无忌惮。
恰在这个时候，传言他定远旧宅里有一口井，这井当中忽然生出了竹笋，钻出了水面数尺，而且他的父亲，祖父和曾祖父三世的坟上，在每天夜里都有烛光映天。人们都把这些事称为祥瑞，胡惟庸知道之后更是得意忘形，野心勃勃，简直不可一世。时值他的家人贩奸榜辱守关官员，被告到了朱元璋的面前，朱元璋听到了之后恼怒异常，马上下令杀之。胡惟庸急忙上殿请罪，假装不知道这里的详情。可是这个时候朱元璋又追究起刘基的死因。胡惟庸被问得难以回答，他预感到不妙，他寻思道：“主上对勋旧重臣都是随意处置，更何况对我呢，恐怕难以容忍，与其束手待毙，不如先发制人，或者还有成功的希望！”于是加紧了策划的叛乱。
