四一二蔣介石叛變革命,激起廖乾五的極大憤慨。1927年4月15日,廖乾五、張發(fā)奎等主持召開國民黨第四軍各級(jí)黨部執(zhí)監(jiān)委員會(huì)議,一致決議“本軍全體同志,誓為前鋒”,討伐叛黨軍人蔣介石。4月18日,國共兩黨聯(lián)席會(huì)議決定繼續(xù)北伐。廖乾五同第四軍一起參加了第二次北伐。6月20日前后,廖乾五在漢口向中共中央軍事部部長周恩來匯報(bào)工作后,繼續(xù)抓緊四軍政治訓(xùn)練工作。
7月中旬,周恩來在武昌召集黨的活動(dòng)分子會(huì)議,部署從事軍事工作的中共黨員集中南昌、九江一帶,做聯(lián)張(發(fā)奎)反粵的準(zhǔn)備工作。周恩來考慮到廖乾五年紀(jì)較大,身體不好,準(zhǔn)備留下另行安排工作,廖乾五一再表示“堅(jiān)決要去”。于是周恩來批準(zhǔn)了廖乾五前去南昌、九江的請(qǐng)求。
1927年7月23日下午,廖乾五和惲代英到達(dá)九江。7月24日,中共中央正式?jīng)Q定在南昌舉行起義,并決定組成以周恩來為書記的前敵委員會(huì),組織領(lǐng)導(dǎo)這次起義。同日,在有葉劍英、葉挺、賀龍、廖乾五、高語罕五人參加的甘棠湖的一條小船上,葉劍英將他在廬山上聽到的汪精衛(wèi)、張發(fā)奎密謀要調(diào)賀軍長、葉師長上山的消息告訴大家。經(jīng)過短時(shí)間的磋商,認(rèn)定這是汪、張扣押賀、葉,罷其兵權(quán)的陰謀,做出了賀、葉不上廬山,不接受張發(fā)奎調(diào)賀、葉部到德安集中的命令,以及賀、葉部隊(duì)立即開往南昌的三項(xiàng)決定。甘棠湖上的這次秘密會(huì)議,史稱“小劃子會(huì)議”。它挫敗了汪精衛(wèi)的陰謀,為發(fā)動(dòng)南昌起義發(fā)揮了重要的作用。
7月31日凌晨,廖乾五趕往設(shè)在百花洲心遠(yuǎn)中學(xué)的第十一軍二十四師指揮部,協(xié)助師長葉挺指揮部隊(duì)行動(dòng)。8月1日凌晨2時(shí)許,起義時(shí)刻來到了,中國共產(chǎn)黨領(lǐng)導(dǎo)的軍隊(duì)向國民黨反動(dòng)派打響了武裝反抗的第一槍。起義成功后,中共前敵委員會(huì)宣布成立一個(gè)革命委員會(huì),廖乾五被任命為革命委員會(huì)宣傳委員會(huì)委員及二十軍(軍長賀龍)黨代表。8月3日至5日,起義軍先后離開南昌,準(zhǔn)備南下廣東東江地區(qū)建立根據(jù)地。
9月初,起義軍到瑞金。廖乾五和周逸群在瑞金錦江邊一所小學(xué)里介紹二十軍軍長賀龍加入了中國共產(chǎn)黨。周恩來出席了賀龍的入黨儀式并講了話。賀龍入黨后編入有周恩來、張國燾、廖乾五、劉伯承、周逸群等為成員的中央特別小組。中共前敵委員會(huì)在瑞金召開的二十軍連以上干部會(huì)議上,周恩來宣布前委決定,任命廖乾五兼任二十軍政治部主任。
9月2日,賀龍和廖乾五率二十軍為前鋒,由瑞金向汀州進(jìn)軍。9月18日,起義軍進(jìn)抵廣東大埔,敵軍1.5萬余眾對(duì)起義軍進(jìn)行阻擊。賀龍、廖乾五等率部與敵展開激戰(zhàn),5000 多名起義軍傷亡過半。在形勢(shì)惡劣的情況下,10月3日下午2 時(shí)左右,周恩來召集前委、革委、各軍及地方負(fù)責(zé)干部聯(lián)席會(huì)議。會(huì)上傳達(dá)了中共中央決定,宣布今后要打紅旗,分田地,繼續(xù)戰(zhàn)斗。根據(jù)中央指示精神,會(huì)議決定起義部隊(duì)立即撤向海陸豐,非武裝人員分赴香港或上海,還宣布賀龍、劉伯承、林伯渠、廖乾五等立即離開部隊(duì),由香港繞道上海,回中央另行分配工作的決定。