有一次，唐太宗在慶善宮舉行宴會，邀請了皇親國戚、朝廷大員前來參加。宴會上大家喝酒聊天，觀看演出，氣氛非常活躍。

而且還在宴會上吟詩作賦，有娛樂節目，參與宴會的不是皇親國戚，就是一起打天下的功臣，慶善宮是李世民出生的地方，選擇這樣的宅子舉辦宴會，也可以說是比較隨和的私人宴會。但是酒過三巡，尉遲敬德對一個座次排在他前面的人發飆。在宴會上他大聲質問道：“汝有何功，合坐我上!”

尉遲敬德何許人?他是唐朝的開國功臣，在戰場上甚至還救過李世民的性命。這樣一位有分量的人，確實應該做在最上席。但是，無論功勞有多大，都不能在皇帝面前發飆，這是基本常識。

但是尉遲敬德還做出更加出格的舉動。

做在尉遲敬德后面的李道宗見氣氛不和諧，立馬起身勸解尉遲敬德。尉遲敬德也不知道是不是酒醉了還是心中的怨氣確實太大，也不搭話，轉身就朝李道宗臉上一拳打去，差點沒把人家眼睛打瞎。

李道宗何許人呀?他是任城王，唐太宗的堂弟，也是大唐的開國功臣。

這下闖禍了，打了皇帝的親戚。李世民畢竟是開明大度的君王。當時他并沒有發作。事后，他召見尉遲敬德，并對他說：“我讀漢代歷史，非常反對漢高祖誅殺功臣，所以我希望能與你們這些功臣共享富貴。今天看到你的表現，方知韓信、彭越當年被誅，并非只是高祖的過錯。國家的治理，無非是賞與罰而已，非分的恩遇是不可多得的，望你加強修養，好自為之，否則后悔都來不及了!”

唐太宗的這番話，簡直就是最后通牒，用今天的話說就是“我已經把話說在前頭，到時候別怪我不講情面!特別是“乃知韓、鼓菹醢，非高祖之罪也” 一句，直白明了，無論誰聽了都會覺得脊背發涼。

韓信被誅三族、彭越被剁成肉醬，這些歷史教訓尉遲敬德不會不明白。經此一點，他還敢再造次嗎?尉遲敬德是個聰明人，這次談話之后，他對太宗常懷敬畏之心，行為言語上自斂克制，再不敢有自負驕傲之情。

此后，尉遲敬德雖居官位，但一直處于賦閑狀態。政治上不得意，他便轉而尋求精神寄托，篤信仙方，煉丹求藥，服食云母粉。平時聽聽素雅的音樂打發時間，“不與外人交通，凡十六年”。

貞觀十七年，圖形于凌煙閣。唐高宗顯慶三年去世，享年七十四歲。