Rajkin se je oktobra 1911 rodil v Rigi v današnji Latviji, ki je bila tedaj še del ruskega imperija. Leta 1935 je diplomiral na gledališki akademiji v Leningradu in nastopal v državnih gledališčih in varietejih. Leta 1939 je v Leningradu ustanovil lastno gledališče, v katerem se je s skeči in imitiranjem norčeval iz neučinkovitosti komunistične birokracije in sovjetskega načina življenja. Pri tem se ni izognil niti grobosti in pokvarjenosti uradnikov, pomanjkanju vsakdanjih potrebščin v trgovinah, politični previdnosti in raznim črnoborznim in podobnim domislicam za preživetje v socrealističnem vsakdanu. V času Stalinove policijske države je s tem precej tvegal, saj so v čistkah pogosto izginili ne le pripovedovalci političnih šal, ampak tudi tisti, ki jih niso naznanili oblastem. Rajkin je bil ogrožen tudi zaradi svojega rodu, saj je bil Jud v izrazito antisemitskem ozračju, vendar je bil po drugi strani zaradi svoje priljubljenosti tudi razmeroma nedotakljiv.