甘羅是秦國左丞相甘茂之孫。甘茂去世時，甘羅年僅十二歲，事奉秦國相國、文信侯呂不韋 ，擔任少庶子之職。

當時，掌握朝政的呂不韋想攻打趙國以擴張他在河間的封地，于是派剛成君蔡澤在燕國作大臣。蔡澤經過三年努力，使得燕國國君燕王喜派太子丹到秦國作人質。呂不韋準備派張唐到燕國作相國，以聯合燕國攻打趙國、擴張他在河間的封地。張唐推辭說:"我曾經替秦昭襄王攻打過趙國，因此趙國怨恨我，曾揚言'誰要逮住張唐，就賞他百里方圓的土地'。現在前往燕國必定要經過趙國，我不能前往。"呂不韋聽后很不高興，但沒有什么辦法勉強讓張唐前往，于是令張唐退下。甘羅說:"君侯為什么這般不高興呢?"呂不韋說:"我讓剛成君蔡澤事奉燕國三年，燕太子丹已經來秦國作人質，現在我親自請張唐到燕國為相，他竟推辭不去!"甘羅說:"我有辦法讓他去。"呂不韋厲聲斥到說:"走開!我親自出馬他尚且無動于衷，你還能有什么辦法!"甘羅辯解說:"古時項橐七歲就作孔子的老師。如今我已十二歲，君侯為何不讓我去試一試，為何不由分說便呵斥于我呢!" 于是呂不韋同意讓甘羅勸說張唐。

甘羅前往拜見張唐說:"您的功勞與武安君白起相比，誰的功勞大?"張唐回答說:"白起在南面挫敗強大的楚國，北面施威震懾燕、趙兩國，戰則勝，攻必克，奪城取邑，不計其數，我的功勞比不上他。"甘羅問:"您果真自知功不及白起嗎?"張唐回答說:"是的。"甘羅又問:"當年執掌秦政的應侯范雎與呂不韋相比，誰的權勢更大?"張唐說:"范雎不如呂不韋的權力大。"甘羅說:"您確認范雎不如呂不韋的權力大嗎?"張唐回答說:"是的。"甘羅接著說:"當年范雎想攻打趙國，可白起阻攔他，結果范雎在離咸陽七里處絞死白起。現在呂不韋親自請您前往燕國任相而您執意不肯，我不知您將身死何地啊!"張唐聽后便說:"那我就因您這個童子的意見前往燕國吧。"于是讓人準備車馬盤纏，擇日起程。

張唐的行期確定下來后，甘羅便對呂不韋說:"請君侯替我準備五輛馬車，讓我先去趙國替張唐打通關節。" 呂不韋就進宮把甘羅的請求報告給秦始皇說:"過去的甘茂有個孫子名叫甘羅，年紀很輕，然是名門之后，所以諸侯都知道他。最近張唐打算推病不去燕國，甘羅說服他，使他答應毅然前往。現在甘羅愿意先到趙國為張唐清除障礙，請大王答應派他去。"秦始皇召見甘羅，于是派他前往趙國。

趙國國君趙悼襄王到郊外迎接甘羅，甘羅問趙悼襄王說:"大王聽說燕太子丹到秦國作人質的事嗎?"趙悼襄王回答說:"有所耳聞。"甘羅接著問:"您聽說張唐要到燕國任相嗎?"趙悼襄王回答說:"也有所耳聞。"甘羅分析說:"燕太子丹到秦國來，說明燕國不敢背叛秦國。張唐到燕國任相，說明秦國不會欺辱燕國。燕秦兩國互不相欺，沒有別的原因，就是想攻打趙國來擴大在河間一帶的領地。大王不如先送我五座城邑來擴大秦國在河間的領地，我請求秦王送回燕太子丹，再幫助強大的趙國攻打弱小的燕國。"趙悼襄王立即親自劃出五座城邑來擴大秦國在河間一帶的領地。秦國送回燕太子丹，趙國有恃無恐地進攻燕國，奪得上谷三十座城邑(一作三十六座城邑)，讓秦國得到其中的十一座城邑。

甘羅回到秦國后，秦始皇封賞甘羅擔任上卿(相當于丞相)之職，并將甘茂原來的田地、房宅賜給甘羅。

不過，史書只記載了甘羅年少時的事跡，可是，對他的結局卻語焉不詳。

第一個說法是：甘羅死在了秦始皇手中。

秦始皇雖然對甘羅十分青睞，但封建王朝中向來是伴君如伴虎，兔死狗烹更是常有的事。甘羅向往仁人志士，一直想讓秦始皇成為一個德才兼備的君主。可是，秦始皇過于殘暴，令甘羅如鯁在喉，不吐不快。勸說的多了，秦始皇甚至對甘羅厭惡起來。

無奈之下，甘羅有了退隱了心思。但是，秦始皇看重甘羅的才干，不許甘羅辭去官職。為了遠離朝廷，甘羅決定設法激怒秦始皇，哪怕是要被責罰也要歸隱山林。一次，甘羅在下棋時當著秦始皇的面摸了一下秦王妃的腿，想要讓秦始皇責罰自己，不料，秦始皇暴怒之下直接下令斬殺甘羅。

就這樣，甘羅弄巧成拙，被殘忍地殺害了。

還有一種說法是：甘羅因病而死。

甘羅當了上卿后，本想一展宏圖，不料天妒英才，沒過多久就身患重病。秦始皇和呂不韋請來了很多名醫為他醫治，可是，甘羅還是在病痛的折磨下去世了。