劉賀的父親是昌邑哀王劉髆，劉髆的母親大名鼎鼎，是漢武帝的寵妃李夫人，李夫人的兄弟也是漢武帝手下的大將，貳師將軍李廣利，當年漢武帝就派他遠征大宛，奪取汗血寶馬。雖然母親深受武帝寵愛，但昌邑王就是昌邑王，沒能成為太子，公元前87年，漢武帝駕崩，劉髆也在差不多的時間去世了。登基的是他的幼弟劉弗陵，也就是漢昭帝。又過了十三年，二十出頭的昭帝駕崩了，沒有子嗣，霍光立劉賀為帝，但好景不長，僅僅三個月就被廢黜了。宣帝即位后，劉賀在南方的海昏聊度余生，直至生命的終結。

關于李夫人，最著名的莫過于其兄李延年的贊頌：“北方有佳人，絕世而獨立。一顧傾人城，再顧傾人國。寧不知傾城與傾國，佳人難再得”。據記載，李夫人不僅容貌極美，而且妙麗歌舞，深受漢武帝寵愛。

李夫人死后，李家因事兩次被族滅（第一次沒涉及李廣利），李廣利本人逃入匈奴。劉髆本人也沒有強大的母家勢力支持。霍光選擇立劉髆的兒子劉賀，大概也是看中這一脈勢力單薄便于控制。但劉賀被立后，自己不安分，讓霍光不滿，僅僅在位27天就被廢。霍光廢劉賀時，列舉了一千一百二十七起罪狀。當時還使用竹簡，紙張尚未普及，霍光的手下列這么多罪狀也夠費力的。