廬山會議期間，彭德懷給毛澤東寫了一封信，打破了廬山的平靜。沒有多久，黃克誠被毛澤東電召上山。

見到黃克誠，體察入微的周恩來說了句意味深長的話：“你來晚了一步，如果你在７月14號以前上廬山，彭老總那封信就不會拿出來了。”

黃克誠后悔萬分：何止是來晚了，如果由我來參加會議，廬山會議的風暴不是掀不起來了嗎？

上山后他和彭德懷同住176號別墅。兩人一個住東頭，一個住西頭。他們兩人在廬山第一次見面時，彭德懷就問黃克誠：“我給主席寫的信你看了嗎？你覺得寫得怎么樣？”

黃克誠坦率地說：“我看了，這信寫得不怎么樣。有意見可以當面說嘛！寫信干什么？信里有些提法和用詞也不太妥當。”

黃克誠雖說是中途上山，但當時會議的大氣候他是知道的。毛澤東為什么在這種情況下叫他上山？他也是明白的。毛澤東叫他上山來自然是要他講話，講話也自然是要按毛澤東的意思來講……

明明知道這些，但他仍堅持真理，秉公直言。他對會上講的“大躍進”的不足進行了補充。他說了三條：一、對農業生產成績估計過高；二、比例失調；三、1959年的指標過大。他認為頭一條起了主導作用，后兩條與之有聯系。

他甚至氣憤地說道：“現在有一種不好的風氣，就是只能講成績，不能講缺點。有人去了一趟河南，看了幾個地方，發現他們放的衛星不對頭，煉的鋼不能用，產量也不實，就給中央寫了一封信，提出了自己的看法。結果材料轉到了省委，省委大發雷霆……這種風氣很不對，有缺點不可怕，可怕的是不讓講缺點。”

會議上，有好心人向他使眼色，或用委婉的話語制止他，他都不領情，把心中的話一股腦全都倒了出來。當年參加會議的同志對黃克誠的這次發言，至今還記憶猶新，說他說的是掏心窩子的話。

他發言過后，不斷有中央政治局常委找他談話，要他和彭德懷劃清界限。最后，毛澤東親自找他談話。毛澤東與人談話歷來都是天南地北，古今中外，無所不談，但他最喜歡說的還是解放戰爭那段崢嶸歲月。當談到當年四平保衛戰的情況時，毛澤東突然問黃克誠：“難道四平保衛戰打錯了？”黃克誠回答說：“開始敵人向四平推進，我們打他一下子，以阻敵前進，這并沒有錯。但后來在敵人集結重兵尋找我主力決戰的情況下，我們就不應該固守四平了。”“守四平當時是我決定的。”黃克誠說：“你決定的也是錯誤的！”黃克誠的話令毛澤東頗感驚訝，他停頓了一下說：“那就讓歷史和后人去評說吧！”

這就是倔強的黃克誠。他認為，毛澤東是他信任的領袖，應該向毛澤東講真話甚至提出批評。這才是一個真正的共產黨員所應具備的品質。

這時，有人開導黃克誠要他對彭德懷“反戈一擊”。

黃克誠堅定地回絕：“‘落井下石’也得有石頭，可是我一塊石頭也沒有。我決不做誣陷別人、解脫自己的事！”

廬山會議開到最后，黃克誠和彭德懷、張聞天、周小舟等人一起受到批判。他們在強大的批判攻勢下，只得在說明事實真相的前提下，違心地給自己扣了許多不切實際的帽子。

等到冷靜下來以后，黃克誠認識到，違心地作檢討，違心地同意“決議草案”，才是自己在廬山會議上的真正錯誤。黃克誠一想起此事，心里就非常痛苦。

黃克誠顫顫巍巍接過了沉甸甸的材料：這哪里是一本普通的自述回憶材料啊！這分明是彭德懷對黨、對人民無限眷戀的赤誠之心啊

廬山會議以后，黃克誠的軍委秘書長、總參謀長職務被撤銷了。同時，他還暫時失去了與彭德懷交往的自由，可是兩個人的友情和關系好像永遠也無法切斷。用黃克誠恢復工作以后的話說：有很長一段時間，我做夢經常同他在一起。這次被撤職之后，黃克誠仍像過去一樣，不甘心在革命隊伍里吃閑飯，寫信給毛澤東，要求給他一點工作做。

1965年，黃克誠被分配到山西省擔任副省長。與此同時，彭德懷被派到成都西南大三線建設委員會擔任第三副總指揮。

看到自己又能為黨工作了，黃克誠激動萬分。

山西是他曾經戰斗過的地方。抗戰初期，黃克誠曾經任八路軍一一五師三四四旅政治委員。重訪太行、太岳，黃克誠想起了26年前閻錫山發動“十二月反共事變”時，彭德懷從洛陽冒險回前方，路過高平縣三四四旅駐地的情景。這天夜里，兩人興奮異常，徹夜暢談。就在這個夜晚，彭德懷下定了調集兵力發動反磨擦戰役的決心。后來，經過反擊，八路軍終于打破了抗日敵后根據地遭敵頑雙方夾擊的困境。