第一次國共合作后，廣東革命形式迅猛發(fā)展，迫切要求建立一支可靠的革命武裝力量。1924年5月，在蘇聯(lián)顧問的建議下，孫中山創(chuàng)辦了黃埔軍校。這時，來到廣東不久的廖乾五、包惠僧經過二七慘案的沉痛教訓，逐漸認識到，要消滅反動軍閥，必須要有一支革命武裝。8月下旬，孫中山創(chuàng)建“大本營航空局鐵甲車隊”，這是一支國共合作的革命武裝。孫中山大本營任命國民黨員盧振柳任隊長，中共組織選派廖乾五任政治部主任，包惠僧兼任政治教官，軍事顧問是蘇聯(lián)紅軍軍官羅嘉覺夫。鐵甲車隊名義在大元帥府的編制內，實際是由中國共產黨直接領導的革命武裝，具有很大的獨立性。部隊的主要活動，都由廖乾五、徐成章向中共廣東區(qū)委負責人陳延年、周恩來匯報請示。鐵甲車隊改組初期，只有廖乾五等數(shù)名共產黨員，隨著鐵甲車隊的發(fā)展，廖乾五等又先后吸收了見習官周士第，排長莫奇標、高超、李海濤，班長周子昆，隊員魏鑒賢等入黨，形成了20多人的共產黨員核心，這就保證了共產黨員是鐵甲車隊的骨干力量，將槍桿子牢牢抓在了共產黨手中。鐵甲車隊，在廖乾五、徐成章領導下，把政治教育放在重要地位，成為區(qū)別于其他部隊的一個特征。
鐵甲車隊改組不久，國民黨中央農民部特派員，中共廣東區(qū)委農委負責人彭湃請求開赴廣寧縣支援農民減租運動。經中共廣東區(qū)委和大元帥府批準，于12月8日廖乾五、徐成章率80余名官兵開赴廣寧縣。廣寧縣在彭湃和周其鑒領導下，建立了中共廣寧支部和縣農會。廖乾五等率隊在廣寧支援農運70 余天，將全縣反動武裝一舉蕩平，為廣東農民運動的發(fā)展作出了貢獻。2月19日，廖乾五等率隊返回廣州。廣州各界于當月23日召開數(shù)萬人的大會，為鐵甲車隊慶功祝捷。在廣寧支援農民運動期間，廖乾五和彭湃把繳獲的千余武器及彈藥用于武裝農民自衛(wèi)軍，并派干部幫助訓練農民自衛(wèi)軍。在中國共產黨內，他倆是“武裝農民”這一重要主張比較早的提出者和實踐者。
1925年5月30日五卅慘案發(fā)生后，為了支援上海人民的反帝斗爭，中共廣東區(qū)委發(fā)動了省港大罷工，廣州10萬工農兵走上街頭，舉行反英大示威。廖乾五、徐成章率鐵甲車隊參加了這次游行。9月中旬，廖乾五同周士第率鐵甲車隊一部駐防深圳，協(xié)同政府軍在石龍車站解除國民黨右派鄭潤琦之一部武裝。11月4日，港英當局出動飛機、軍艦進犯沙魚涌，廖乾五、周士第指揮本隊英勇抗擊后，率部突圍。在這次戰(zhàn)斗中，鐵甲車隊和工人糾察隊以不足百人的兵力，英勇抗擊了港英當局飛機、軍艦支援下的千余名匪徒進攻。以傷亡30余人的代價，斃匪徒200余人。表現(xiàn)了中國共產黨領導下的革命武裝，英勇抗擊帝國主義侵略的大無畏革命精神，在我黨早期領導的武裝斗爭史上，譜寫了光輝的一頁。
