1947年7月23日，毛主席指令劉鄧開始千里挺進大別山，同時指令陳毅、粟裕“指揮陳（士榘)唐(亮)擔負整個內線作戰任務”，即接管劉鄧主力遠去后的魯西南根據地經營任務。

8月1日，陳士渠、唐亮指揮的3個縱隊與葉飛、陶勇的兩個縱隊在山東濟寧會師，統由華野參謀長陳士榘指揮，隨后進軍魯西南，與劉鄧部隊靠攏。

因為陳毅、粟裕與華野總部留在魯中，指揮不便。為加強魯西南部隊的統一指揮，粟裕與陳毅8月3日致電毛主席與軍委："擬成立華野西兵團，由陳士榘、唐亮分任司令員、政委。"

這是華野"西兵團"與指揮機構的最早提議。

粟裕接到毛主席電報后，考慮到戰略重心已由內線轉到外線，主戰場已由山東轉移到中原，又考慮到華野總部指揮機構的健全，即"人事關系及指揮便利"，向陳毅提出3點建議，獲得應允后，又與陳毅聯名于8月5日上報毛主席:

一是"請陳毅一同西去，以加強領導"。

二是"為進一步集中兵力，達成戰役上的優勢，增調第六縱隊到西線"。

三是留在山東的二、七、九3個縱隊組成東兵團，即"另組東兵團司令部，以譚(震林)為司令，許世友為副司令，黎(玉)為政委，執行內線作戰任務。

許世友原為華野9縱司令員，是粟裕麾下與葉飛、王必成、陶男等同列的11個縱隊級將領之一。華野已經取得的經典戰役中，他沒有參加過七戰七捷、宿北戰役。大兵團作戰經歷因其加入華野時間晚，反不如葉飛、王必成等縱隊司令員；南麻戰役中，他奉粟裕之令率9縱擔任主攻任務，攻打胡璉的整編11師，結果屢攻不動，加上暴雨等不利因素。粟裕被迫下令后撤。

粟裕建議成立東兵團時，之所以讓許世友出任副司令，一是考慮華野副政委譚震林兼任司令雖然名正言順，合乎情理，但到底不大會打仗，需要一個懂行的人協助；二是留在山東的2縱司令員韋國清、7縱司令員成鈞和9縱司令員許世友中，以許年齡最大，資歷最老。

許世友由此成為第一個被提升的縱隊司令員。

不久，毛主席改任許世友為東兵團司令，譚震林則兼任政委，原政委黎玉專事地方工作。因譚震林還兼任華野副政委，職務依然高于許世友，但已不負責作戰。

許世友由此再升一級，從兵團副司令升任司令，此后又擔任東兵團改稱的華東野戰軍野戰兵團司令員，華野山東兵團、第二兵團司令員，是粟裕靡下第二個兵團司令(第一個為譚震林)，后來濟南戰役時又因此成為粟裕摩下的攻城總指揮(全軍指揮為粟裕)。

許世友在華野凸顯而出，影響逐漸超過聲望較高的參謀長陳士榘與政治部主任唐亮，最早根源是粟裕提議成立東兵團機構并提升他為副司令。

如果粟裕當初不建議華野指揮部和陳毅一同西去，西兵團機構得以正式建立，由粟裕兼任司令員，那么，留在山東的9縱司令員許世友便只能歸華野指揮部和陳毅指揮，東兵團機構不會成立，許世友便可能只長期擔任縱隊司令員。

因而，許世友雖然性情簡單粗糙，行軍時也發過粟裕的牢騷，還摔過粟裕的電話，但對粟裕這個老上級一直較敬重。

1949年10月建國后，粟裕每到南京或廣州，擔任南京或廣州軍區司令員的許世友必定恭敬接待；粟裕的老母親因行動不便，又不適應北京的氣候，只得留在南京養老，許世友知悉后常能予以照顧，以盡部下之義。