曾國藩，湖南湘鄉人，出身地主家庭，從理學家唐鑒、倭仁“講授義理學”，“名稱重于京師”。所以他的仕途一直很順利，1852年9月他母親去世，他返回家鄉服喪。太平天國金田起義不久，咸豐皇帝鑒于清常備武裝八旗綠營相繼腐敗、不堪太平軍一擊，以及“從前川、陜、楚教匪滋事，保寨告成，然后殄滅”的歷史經驗，連發上諭，命令各地大力舉辦團練，1853年 1月，曾國藩在老家湘鄉接到命令，讓他協同湖南巡撫一起辦理團練，鎮壓風起云涌的湖南農民起義。

曾國潛至長沙后為了既能編制一支盡忠于己的反動武裝，又不引起清王朝的猜測懷疑，別出心裁地把本無二致的“團練”一詞十分為二，謬加區別: “團即保甲之法，清查戶口，不許容留匪人，一言盡之矣，練則制械選丁，請師選旗，為費較多。”他認為“練”需“擇人而舉”，“團”應“遍地興辦”。具體來說就是由自己“舉練”，他人“辦團”。起先，曾國藩與巡撫張亮基商定，各地鄉團抓到會黨群眾捆送省城者，概交湖南首縣善化縣審理。

后來曾國落嫌其殺人不多、不快，便在團練大臣館內設立審案局，自行審案殺人。因他嗜殺成癖，人們送其綽號，名日“曾剃頭。”1854年2月，曾國藩練成湘軍水陸兩軍:陸師十三營，六千余人，與清八旗綠營有差別的是，湘軍讓知識分子擔任官職，招攬樸實強壯的農民去當士兵，所謂“選士人，領山農”。重要將領如羅澤南、彭玉麟、王鑫等，和曾國藩一樣都是程朱理學的信徒，又是他的同鄉、同學、師生、親友。

4月太平軍分兵兩路，一路克靖湛，一路克湘譚，南北夾擊長沙。龜縮在長沙城內的曾國落為解長沙之圍，在28日親自帶領湘軍水師猛撲靖港，但是被太平軍給打敗了，曾國藩覺得羞愧難當，跳水自殺，被屬下救上來。但另路洲軍則在湘潭取勝，迫使太平軍從長沙前線撤退。7月，經過休整補充的湘軍攻陷岳州，并追趕太平軍出湖南， 10月連陷武昌、漢陽，12月在田家鎮幾乎全殲太平軍水師，乘勝猛撲九江。

田家鎮戰敗消息傳到天京后，楊秀清命石達開赴西線指揮。1855年 1月，石達開設計在湖口、九江兩次大敗洲軍水師，連曾國藩的座船也成了太平軍的戰利品。太平軍乘勝窮追，三克武昌，挺進江西，但就在這年秋天，太平天國在天京發生內訌，給了曾國藩重整旗鼓

后來曾國藩父親去世，曾國藩回家鄉服喪。1858年7月，曾國藩以兵部侍郎身份受命辦理浙江軍務。他自己與曾國荃率主力出宿松攻安慶，其三路由多隆網、胡林翼、李續宜分率，進攻桐城、舒城和州，切斷安慶與外圍的聯系。至1861年9月安慶失陷，太平軍與湘軍在安慶-線反復進行了較最爭奪。