沙龙17岁加入犹太人秘密民兵组织“哈加纳”，对抗当时统治巴勒斯坦的英国人，早早展现出军事天分。“哈加纳”后来成为以色列国防军。1948年，沙龙参加以色列独立战争，即第一次中东战争，身负重伤，伤势影响终生，一只眼睛几乎失明。
1953年，沙龙负责组建和指挥101部队，专门越境报复巴勒斯坦游击队和阿拉伯国家武装力量，手段强悍。1956年10月，沙龙作为伞兵旅旅长参加英国、法国联合以色列发动的苏伊士运河战争。他不顾时任以色列总理果尔达·梅厄夫人反对，自行率伞兵旅与西奈半岛埃及部队交战，阿拉伯国家指认他率伞兵旅虐杀战俘，举世哗然。1967年第三次中东战争中，沙龙率领装甲师，参加以色列夺取戈兰高地、吞并约旦河西岸和西奈半岛的多场战役。
1971年，沙龙负责打击加沙地带“恐怖势力”。6个月中打死100多名“可疑分子”，逮捕数百人。
1973年10月“赎罪日战争”，即第四次中东战争爆发后，已经步入政坛的沙龙重返部队，出任装甲师师长。他冲锋在前，头部受伤，包扎绷带继续作战，极大鼓舞了以色列军队士气。这支装甲部队成为第一支通过苏伊士运河、包围埃及部队的以色列军队。沙龙也因此被以色列视为“战争英雄”。