通過(guò)多年的顛沛流離,廖乾五廣泛接觸了勞苦大眾,體會(huì)到了社會(huì)的弊端和不平,又經(jīng)過(guò)較長(zhǎng)時(shí)間的學(xué)習(xí)和思索,在擁護(hù)孫中山的三民主義的基礎(chǔ)上,更加堅(jiān)信只有馬克思主義才能拯救災(zāi)難深重的中華民族。
1921年8月,他經(jīng)共產(chǎn)黨人包惠僧、李漢俊介紹,同施洋等人參加了武漢馬克思主義學(xué)說(shuō)研究會(huì),接受其學(xué)說(shuō),成為一名馬克思主義者。次年,經(jīng)董必武、陳潭秋介紹,廖乾五在武漢加入了誕生不久的中國(guó)共產(chǎn)黨。他經(jīng)常到工人、店員、學(xué)生中去宣傳、組織活動(dòng),并將《資本論》、《馬克思學(xué)說(shuō)》等書籍送給路過(guò)武漢的平利同鄉(xiāng)嚴(yán)鑾坡,殷切希望馬克思主義能在家鄉(xiāng)傳播。
1923年2月1日,京漢鐵路總工會(huì)在鄭州召開成立大會(huì),宣布成立總工會(huì),廖乾五同項(xiàng)英、陳潭秋、施洋、許白昊、李之龍等共產(chǎn)黨員領(lǐng)導(dǎo)了江漢口岸鐵路工人的罷工斗爭(zhēng)。2月7日,1萬(wàn)余工人舉行聲勢(shì)浩大的集會(huì)游行,并沖進(jìn)租界示威。吳佩孚在帝國(guó)主義唆使下,派軍警包圍江岸分會(huì),悍然向工人糾察隊(duì)開槍,當(dāng)場(chǎng)打死36人,傷200余人,被抓捕100余人,江岸分會(huì)委員長(zhǎng)林祥謙和京漢鐵路總工會(huì)法律顧問施洋慘遭殺害,造成震驚中外的“二七慘案”。廖乾五在敵人瘋狂屠殺時(shí)僥幸跑出,和項(xiàng)英一起坐小船到漢口,回到了法租界長(zhǎng)清里熊晉槐的家中。他們?cè)谶@里建立了鐵路工會(huì)秘密聯(lián)絡(luò)處,做遇難被捕工人的善后工作。
12月30日,根據(jù)中共中央三屆一中全會(huì)關(guān)于“必須幫助國(guó)民黨擴(kuò)大組織,在國(guó)民黨有組織的地方改組其組織,沒有組織的地方我黨為之創(chuàng)設(shè)”的指示精神,廖乾五同項(xiàng)英、劉芬等人在漢口成立了國(guó)民黨漢口市黨部籌備處,廖乾五任副主任。
1924年1月,中國(guó)國(guó)民黨第一次全國(guó)代表大會(huì)在廣州召開。廖乾五、李立三以漢口特別區(qū)選派的代表,參加了這次大會(huì)。大會(huì)閉幕后,廖乾五回到漢口,積極協(xié)助林伯渠建立國(guó)民黨漢口執(zhí)行部,并代理宣傳部工作。
4月,中共中央決定撤銷武漢地委,設(shè)立漢口、武昌地方執(zhí)行委員會(huì),由中共中央直接指導(dǎo)。改選后的中共漢口地方執(zhí)行委員會(huì)委員長(zhǎng)為包惠僧,委員有廖乾五等,成為武漢地區(qū)中共黨組織的建立和開展國(guó)民革命的主要成員之一。
5月13日,設(shè)在漢口德潤(rùn)里23號(hào)的漢口地委機(jī)關(guān)遭敵破壞,包惠僧適逢到上海參加黨的會(huì)議未返,廖乾五、項(xiàng)英外出工作,得以幸免。由于3人都在反動(dòng)當(dāng)局明令通緝之列,在武漢已無(wú)法立足,中央決定項(xiàng)英在上海負(fù)責(zé)全國(guó)工人運(yùn)動(dòng),派廖乾五、包惠僧到廣州參加軍事工作。