洪武十三年（1380）正月，丞相胡惟庸称其旧宅井里涌出醴泉，此为祥瑞，并借此邀请明太祖朱元璋前来观赏。朱元璋欣然前往，走到西华门时，太监云奇紧拉住缰绳，急不能言，拼命指向胡家。

朱元璋感觉事态严重，立即返回，登上宫城时，发现胡惟庸家上空尘土飞扬，墙道都藏有士兵。

太祖大怒，以“枉法诬贤”、“蠹害政治”等罪名，当天处死胡惟庸、陈宁等。

同时藉辞穷追其友好，包括开国第一功臣韩国公李善长等大批元勋宿将皆受株连，牵连致死者三万余人，史称胡惟庸案。

胡惟庸是中国封建王朝最后一个名至实归的丞相。除掉胡惟庸后，朱元璋罢左右丞相，废中书省，其事由六部分理，另设殿阁阁大学士供皇帝做为顾问，结束了中国的宰相制度。