1925年11月,中共廣東區(qū)委軍事部長(zhǎng)周恩來(lái)多方努力,以鐵甲車隊(duì)為基礎(chǔ),組建國(guó)民革命軍第四軍(軍長(zhǎng)李濟(jì)深) 第十二師三十四團(tuán),任命剛從蘇聯(lián)回國(guó)的共產(chǎn)黨員葉挺為團(tuán)長(zhǎng),周士第為參謀長(zhǎng)。廖乾五升任第十二師政治部主任,隨第四軍討伐廣東省南路軍閥鄧本殷。對(duì)部隊(duì)進(jìn)行常識(shí)教育,把政治工作做到民眾中去,是廖乾五開(kāi)展軍隊(duì)政治工作的一個(gè)顯著特色。南征戰(zhàn)斗中,由于廖乾五領(lǐng)導(dǎo)的政治工作在聯(lián)系民眾、鼓舞士氣等方面所起的重要作用,南征主力師官兵同仇敵愾,奮勇殺敵,和友軍一起,經(jīng)過(guò)短短兩個(gè)月戰(zhàn)斗,鄧本殷軍便土崩瓦解,一敗涂地,鄧乘船逃往國(guó)外。至此,廣東南部獲得解放,全省統(tǒng)一,南征取得完全勝利。
1926年7月,國(guó)共兩黨共同進(jìn)行的北伐戰(zhàn)爭(zhēng)在“打倒列強(qiáng),除軍閥”的雄壯口號(hào)聲中正式開(kāi)始。7月10日,獨(dú)立團(tuán)攻占湘東重鎮(zhèn)醴陵,各界群眾舉行歡迎大會(huì),廖乾五等發(fā)表熱情洋溢的講話。會(huì)后,各界團(tuán)體推舉廖乾五任縣行政委員會(huì)委員長(zhǎng)(即縣長(zhǎng))。廖乾五在師團(tuán)軍會(huì)議作戰(zhàn)前動(dòng)員時(shí)說(shuō):攻下平江,為北伐戰(zhàn)爭(zhēng)統(tǒng)一祖國(guó)立功,即使受傷殘廢了,犧牲了,垂光祖國(guó),也是光榮的。簡(jiǎn)短的幾句話,給到會(huì)軍官以極大的鼓舞。此役,不到10小時(shí),攻占了平江城,俘敵1000余名,繳獲大炮11門(mén),各種槍支1000余支。
在北伐戰(zhàn)爭(zhēng)時(shí),軍隊(duì)的政治部主任是沒(méi)有指揮部隊(duì)作戰(zhàn)的權(quán)利的。但是,廖乾五由于過(guò)去久居楚地,熟悉當(dāng)?shù)氐乩憝h(huán)境,善于謀略。為了“以求達(dá)到農(nóng)民和工人之利益”,他主動(dòng)參與籌劃和指揮了第四軍在兩湖的重要戰(zhàn)斗。汀泗橋戰(zhàn)役和賀勝橋戰(zhàn)役的勝利為北伐軍清掃了通往武漢的道路,極大地鼓舞了全國(guó)人民的斗志,有力地推動(dòng)了兩湖工農(nóng)運(yùn)動(dòng)。
9月中旬,第四軍政治部主任由廖乾五代理。攻克武昌前夕,廖乾五以全部精力投入攻城的各項(xiàng)準(zhǔn)備工作。10月8 日夜,廖乾五派軍政治部宣傳隊(duì)員數(shù)人爬墻進(jìn)入城內(nèi),張貼布告、標(biāo)語(yǔ),散發(fā)傳單,動(dòng)員敵軍投降并宣傳安撫城內(nèi)群眾。10月10日凌晨2時(shí)許,陳可鈺、廖乾五督促第四軍,會(huì)同第八軍猛攻武昌城,激戰(zhàn)至上午8時(shí)攻克收復(fù)武昌城。
在北伐戰(zhàn)爭(zhēng)中,以廖乾五任政治部主任的第四軍打得最好,被譽(yù)為“鐵軍”。第四軍尤其是第十二師和葉挺獨(dú)立團(tuán)之所以在軍事上取得一系列勝利,與中國(guó)共產(chǎn)黨重視軍隊(duì)政治工作和廖乾五在四軍出色的政治工作有很大關(guān)系。廖乾五以其政治工作的卓越成績(jī),受到中共中央軍事部長(zhǎng)周恩來(lái)和蘇聯(lián)軍事顧問(wèn)戈列夫的高度評(píng)價(jià),“鐵軍”政治部主任廖乾五名揚(yáng)全軍。