抗日戰爭爆發后，葉挺滿懷愛國熱情，來到上海請纓殺敵、報效祖國。在上海期間，他偶遇周恩來，得知南方紅軍游擊隊將要改編。根據周恩來的建議，葉挺找到正在上海指揮作戰的國民黨第三戰區前敵總指揮、老同學陳誠，表示愿意參加南方紅軍游擊隊的改編工作。他還建議改編后部隊的番號為國民革命軍新編第四軍，以繼承鐵軍的光榮傳統。1937年9月28日，蔣介石任命葉挺為新四軍軍長。10月12日，國民黨江西省政府主席熊式輝轉發了蔣介石的命令，將南方游擊區的紅軍游擊隊交新四軍軍長葉挺“編遣調用”。新四軍的番號由此正式公布，這也就成為新四軍成立的紀念日。

從一定意義上說，新四軍是在民族利益高于一切、國共兩黨共同抗日救國的基礎上平衡的產物。中國共產黨是從抗日救國的大局出發，提出要將南方紅軍游擊隊拉下山進行改編，以便走上抗日救國最前線，實現直接對日作戰，而蔣介石則是為了其統治的安寧和借對日作戰來消滅異己。至于葉挺任新四軍軍長之職，也頗具戲劇性。蔣介石之所以任命葉挺為新四軍軍長，是因為他不能允許共產黨派人來當軍長，他想派人去指揮由紅軍游擊隊改編過來的隊伍，共產黨又不會同意；而葉挺已經脫離共產黨達十年之久，可能會聽他的話，可以利用葉挺來控制這支部隊。中共方面則考慮，共產黨的軍隊是由黨絕對領導的，“不許國民黨插進一個人”。但共產黨的提名人選，蔣介石又不肯任命。葉挺雖已脫黨，但他是北伐名將，最重要的是要摸清他的政治態度。張聞天、毛澤東發出電報，要求在南京的中共代表博古、葉劍英征求葉挺的意見，看他是否愿意恢復黨籍。葉挺表示：“在黨的組織之外，但愿在黨的領導之下，堅決抗戰到底。”葉挺也知道黨中央的難處和對他不完全放心，又表示：“如果中共不同意，他可辭職。”10月15日，張聞天、毛澤東發出電報，在不干涉紅軍游擊隊改編后內部人事等條件下，才能同意葉挺指揮部隊。19日，張聞天、毛澤東又電博古、葉劍英詢問葉挺“是否可來延安及八路軍總部接洽一次？”葉挺很高興，愿意接受黨中央的考察。11月3日，葉挺應邀到延安，受到黨中央和毛澤東的熱烈歡迎。中共中央領導人與葉挺談話之后，中共中央決定同意葉挺擔任新四軍軍長。8日，中共中央召開歡迎葉挺大會。毛澤東致歡迎詞說：“我們為什么歡迎葉挺軍長呢？因為他是大革命時代的北伐名將，因為他愿意擔任我們的新四軍軍長，因為他贊成我黨的抗日民族統一戰線的政策，所以我們歡迎他。”葉挺在講話中表示：“革命好比爬山，許多同志不怕山高，不怕路險，一直向上走。我有一段，是爬到半山腰又折回去了，現在又跟上來。今后，一定遵照黨所指示的道路走，在黨和毛澤東主席的領導下，堅決抗戰到底。”這時，中共中央分局書記、南方三年游擊戰爭的最高領導人項英到達延安，葉挺與項英（已內定為新四軍副軍長）在延安見了面。13日，葉挺先回到武漢，當天即以新四軍軍長的身份向《大公報》記者發表談話，譴責日本帝國主義侵略中國的罪行。他表示：“我們受日本帝國主義的壓迫，已經是忍無可忍，這一次出于不得已而抗戰，我們只有一個字，就是拼。”1937年12月25日，葉挺和項英在武漢召開新四軍軍部干部大會，宣布新四軍成立。