Njegov strmi politični vzpon se je začel v času, ko je vladi predsedoval Menachem Begin, saj ga je ta imenoval za kmetijskega ministra. V tem času je začel osebno nadzorovati zidavo številnih judovskih naselbin na Zahodnem bregu, zaradi česar so skoraj propadla mirovna pogajanja z Egiptom. Leta 1982 ga je Begin v svojem novem mandatu imenoval za obrambnega ministra, ena izmed njegovih prvih nalog pa je bila pregnati palestinske teroriste z libanonskega ozemlja. Ko je bila naloga opravljena, je Šaron nadaljeval pot proti Bejrutu, kar je pripeljalo do 18-letne zasedbe libanonskega ozemlja. S položaja obrambnega ministra je moral odstopiti že leta 1983, ko ga je k temu prisilila posebna preiskovalna komisija. Ta je namreč ugotovila, da je Šaron posredno kriv za pokol na stotine palestinskih beguncev v libanonskih taboriščih Šabra in Šatila leta 1982, ki so ga zakrivile krščanske milice zavezniške enote izraelske vojske.