蔣介石不僅指使人彈劾白崇禧，而且還要他在罷免李宗仁問題上表態，故意為難白崇禧。甚至他的家也被“國安局”查抄，屋里的所有物品被翻了個底朝天，連地板也被揭開檢查。
1954年，“國大”一屆二次會議在臺北召開。在這次大會上，有人彈劾白崇禧，羅列的罪狀有三條：第一是私吞中央銀行黃金7萬兩；第二是私吞漢口中央銀行庫存白銀370余萬兩；第三是在徐州會戰中，不遵守調令，擁兵自重。
身為“國大代表”的白崇禧馬上進行反擊，他給每位會議代表發了一份答復書，駁斥對他的彈劾。這份書面答復后來在香港《工商時報》上刊載后，引起不小的反響，輿論明顯偏向白崇禧。此案后來也就不了了之。這次彈劾，其實就是在蔣介石的授意之下進行的。
蔣介石不僅指使人彈劾白崇禧，而且還要他在罷免李宗仁問題上表態，故意為難白崇禧。
白崇禧與李宗仁從統一兩廣到北伐抗戰，數十年如一日，甘苦與共，有著深厚的友情。老朋友遠在美國，蔣介石已把他整得夠慘的了，現在又要他落井下石，白崇禧實在不愿意表這個態。但不表態又過不了關，最后只好在罷免李宗仁的聯署書上簽了名。
蔣介石為了報復白，凡是回擊李宗仁時，都要白為其出力，一有風吹草動，就要白出來說話。1964年2月12日，李宗仁在紐約《先鋒論壇報》上發表公開信，要求美國效法法國政府，承認新中國，實現中美邦交正常化。李宗仁的這一舉動，遭到了島內親蔣報紙的攻擊。白崇禧也奉命致電李宗仁，指責他“迭發謬論”，要他“幡然悔悟，以保晚節”。深知內情的海外人士明白，白崇禧身在臺北，已沒有說話的自由，他給李的電報，言不由衷，實非得已。
白崇禧剛到臺北時，住在圓山，后來“臺灣省政府”騰出一些房子給從大陸來臺的公務人員居住，他便從圓山搬到松江路，后來買下了這所住宅。
就在白被除名的當年，他的家也被“國安局”查抄，屋里的所有物品被翻了個底朝天，連地板也被揭開檢查。白崇禧非常氣憤，他當即給負責情治部門的蔣經國打電話，問這是怎么回事。蔣經國答他不知道此事，要白直接去問“總統”。白崇禧又將電話打到“總統府”，老蔣則稱：“我知道此事，不僅對你如此，人人都應該這樣來一次。”白崇禧氣得直翻眼，毫無辦法。
失去自由 受到監視
在臺灣，白崇禧的行動受到監視，逐漸被“架空”，除了“戰略顧問委員會”副主席這個空頭銜外，沒有任何職務。
白崇禧在臺灣，行動也失去了自由。他的寓所對面是派出所，派出所的警員有不少就是特工人員。白公館進進出出的客人，常常受到特務的跟蹤和監視。白崇禧喜歡下棋，以前軍務繁忙，但只要一有空，他總要拉部下殺上幾盤。來臺灣后，也經常請人來陪他下棋。可后來，因老受情治人員的盤問，再也無人敢來陪他下棋了。白崇禧同臺灣軍政界上層人士的聯系無形之中被隔開。
白崇禧喜歡打獵，有一次他一時興起，邀上幾個朋友開車到位于臺中的阿里山去打獵。他們一行到了山腳下，然后乘小火車上山。
這天天氣晴朗，好久沒出門的白崇禧心情很好。阿里山古木參天，鳥蟲啁鳴，坐在小火車里的白崇禧哼著歌兒，談著他過去在廣西打獵的一些往事。
鐵路是單行線，出發前已與山上打過招呼，可是火車開出車站沒多遠，忽然山上一列小火車疾駛而來。好在上山的火車剛剛出站，速度不是很快，白崇禧急忙跳下車，才幸免于難。
這次差一點發生的事故，是屬偶然，還是有人故意所為，不得而知。從此，白崇禧再也不敢外出了。