當時，河套土匪高廣仁也投靠陳圭璋，被編為十三旅，進駐早勝。1931年8月，陳圭璋接到楊虎城的命令，要他組織堵截背叛自己北竄寧夏的蘇雨生，陳便命令劉志丹、劉保堂協助高廣仁，共同阻擊蘇的部隊。而高廣仁早與蘇雨生、張廷芝密秘勾結，準備三部合并進擊寧夏，以配合雷中田發動推翻馬鴻賓的行動。高廣仁先發制人，以設宴為名扣押了劉志丹、劉保堂，并將其部全部繳械，然后經寧縣向合水方向北竄。高廣仁部在離開早勝鎮的前一天，將200多頭毛驢廉價賣給附近群眾，當晚又指示部隊將正在街南火神廟看戲的群眾圍困在廟內，不讓回家，然后進入民宅搜搶民物，牽走所有毛驢，并逼死、搶走婦女各一名。唯北新城有劉志丹余部抵制，末遭劫掠。高部竄至合水縣，被蔣云臺第五旅擊潰，劉志丹乘夜雨脫逃，回到了南梁地區的平定川。劉志丹為建立革命武裝，奔走于陜甘南北，雖歷盡艱險，屢遭挫折，而仍矢志不移，不斷尋求機會，圖謀發展。同時鍛煉和培養了一批軍事干部，積蓄了一定的武裝力量，在群眾中播下了革命的種子，產生了巨大的政治形響。經過不懈地努力，終于于1932年1月在正寧縣柴橋子（時為新寧縣的“北八社”轄區）建立起“西北抗日反帝同盟軍”。2月12日，又根據中共陜西省委決定，改編為中國工農紅軍陜甘游擊隊。

1932年5月，陜甘游擊隊奉陜西省委指示，東進韓城，以實現在平原建立根據地，擴大政治影響，且使于籌糧擴軍的目的，結果一再失利，于6月上旬退至寧縣金村麻子掌。這時，全隊僅剩200余人，部隊士氣低落，思想混亂，被悲觀失望的情緒所籠罩，而領導成員之間，又在選擇游擊戰爭的發展方向和建立軍事后方的問題上產生了嚴重分岐。政委李杰夫、政治部主任黃子文等人，并未吸取東進韓城的教訓，堅持南下三原打游擊，建立渭北根據地；總指揮劉志丹、楊重遠、白錫林、強龍光等多數人則主張北上南梁，以橋山為依托，建立陜甘邊革命根據地。劉志丹等人認為，橋山連接陜甘，地域寬廣，地形復雜，有很大的回旋余地，而敵人在這一帶的統治力量相對薄弱，有利于游擊作戰，同時還可以擴大騎兵，實現步騎配合作戰，提高游擊隊的戰斗力和機動性。兩種意見相持不下，紅軍游擊隊面臨著分裂的嚴重危險。