但日軍迅速突破中國軍隊的阻擊，6月23日即兵臨衡陽附近。日軍在兵力布置上，以2個師團進攻衡陽，以3個師團進攻湘東地區，以1個師團進攻湘江以西。6月25日，重慶軍委會電令方先覺的第十軍死守衡陽。6月26日，第九戰區擬具于衡陽與日軍決戰計劃，并向衡陽周圍調集兵力。同日，蔣介石指派副參謀總長白崇禧前往桂林，協調指揮衡陽一帶戰事。

7月1日，蔣介石主持軍事會報，獲悉廣東之敵已向清遠與從化方向分路進犯。蔣認為日軍“打通粵漢路之計，已不可遏阻矣！今日惟一要圖，為如何能固守衡陽，增強湘桂路兵力，以確保桂林空軍基地，如能粉碎其犯湘桂路之企圖，則此次作戰當不失為成功也。”

這個時期，蔣介石一再電令各兵團依照“正面阻止，側背猛攻”的戰略攻擊進犯之日軍。第二階段軍委會下達的一系列指令均是執行這一戰略，要求前方各軍向當面之敵發起猛攻，或向敵人側背發起猛攻，試圖打消和狙擊日軍的戰略企圖。

中原會戰與長沙會戰節節挫敗以后，國內外輿論對中國軍隊群加指責。作為國軍最高統帥，蔣介石對來自英美盟國的譏評尤其感受到莫大的壓力。7月中旬，美國總統羅斯福致電蔣介石，謂豫湘戰事頗減低中國信譽，擬令史迪威直接指揮中國全部軍隊（包括中共軍隊）作戰。蔣介石對此深感恥辱和刺激。7月21日，蔣對出席整軍會議的軍委會各部會主官痛心疾首地說：“自從這次中原會戰與長沙會戰失敗以來，我們國家的地位，軍隊的榮譽，尤其是我們一般高級軍官的榮譽，可以說掃地以盡。外國人已經不把我們軍隊當作一個軍隊，不把我們軍人當作一個軍人！這種精神上的恥辱，較之于日寇占我們的國土，以武力來打擊我們，凌辱我們，還要難受！”據徐永昌記述，蔣介石當時“聲色俱厲，數數擊案如山響”，其心情之憤激可見。