中共陜西省委視楊為反動(dòng)軍閥、劊子手，因此號(hào)召“暴動(dòng)起來(lái)，推翻楊虎城軍閥統(tǒng)治”，命令在楊虎城部隊(duì)中工作的中共黨員不斷對(duì)楊部進(jìn)行“瓦解兵變”，對(duì)于那些不愿意執(zhí)行命令的黨員就給他們扣上“叛徒”“托派”的帽子。
此外，還有一些其他的沖突，比如楊虎城入主陜西后決定興修楊虎城戎裝照。修水利，召回了陜西著名的水利專家李儀祉，另外還從德國(guó)重金聘請(qǐng)了兩位水利專家，但是中共山西省委負(fù)責(zé)人杜衡卻派人刺殺了兩個(gè)德國(guó)專家，并且宣揚(yáng)這是反帝行動(dòng)。
1933年，杜衡還固執(zhí)地放火燒掉了具有千年歷史的香山寺，說(shuō)這是反封建。這些舉動(dòng)造成了不好的輿論影響，也對(duì)中共和楊虎城的關(guān)系產(chǎn)生了極大的破壞。
楊虎城雖與中共齟齬不斷，但仍不愿與中共正面沖突，因此其在主政陜西時(shí)對(duì)中共仍是照顧有加。比如，1931年劉志丹、謝子長(zhǎng)在陜北搞土地革命，楊通過(guò)杜斌丞資助劉部槍支和金錢(qián)。劉志丹在鄰縣被捕時(shí)，楊命南漢宸把劉接到西安秘密釋放。由于楊的保護(hù)，中共在楊部的組織一直秘密存在并迅速發(fā)展。如張漢民任團(tuán)長(zhǎng)的警衛(wèi)團(tuán)，1934年全團(tuán)有中共黨員200多人。
1935年成立的綏署特務(wù)第二團(tuán)有中共黨員近300名。國(guó)民黨特務(wù)宋志先曾說(shuō)：“江西是共產(chǎn)黨集中的地方，但那里紅是紅，白是白，紅白分明，工作比較好辦。西安這鬼地方是紅白不分。不少人做的是國(guó)民黨的官，吃的是國(guó)民黨的飯，卻說(shuō)的是共產(chǎn)黨的話，甚至做的是共產(chǎn)黨的事。” 這也可以看出楊對(duì)中共的確不錯(cuò)。