1926年，蔣介石一手制造中山艦事件，國共決裂。共產(chǎn)黨員接受中央決定，退出第一軍和黃埔軍校，聶榮臻和周恩來為北伐做準(zhǔn)備。已是省軍委書記的聶榮臻認(rèn)識了女兵張瑞華。

“四一二”反革命政變爆發(fā)，黨組織召開緊急會議，決定讓黨骨干分子轉(zhuǎn)入地下。1927年7月，汪精衛(wèi)宣布與共產(chǎn)黨決裂，大革命失敗。中共中央決定舉行南昌起義，指定聶榮臻為書記，負(fù)責(zé)起義軍各路部隊聯(lián)絡(luò)工作。

1927年8月1日，南昌起義打響了對國民黨反動派的第一槍。周恩來在戰(zhàn)斗中受重傷，聶榮臻和葉挺想盡一切辦法保護他，三人成功逃往香港。12月，聶榮臻回到廣州，中央指示要發(fā)動廣州起義，并請?zhí)K聯(lián)的安德烈教官專門指導(dǎo)起義。安德烈提出按照“十月革命”的方法發(fā)動起義，聶榮臻反對。