Pred Luisom še noben prvak težke kategorije ni tolikokrat branil svojega naslova. On pa je boksal in boksal, dokler ni prišlo srečanje z Buddyjem Baerom, mlajšim in višjim bratom Maksa Baera. Čeprav je Joe v šesti rundi zmagal, je bilo gledalcem jasno, da to ni več stari Joe. Proti koncu runde je Baer padel pod težo silovitega udarca in se pobral, tik preden je sodnik preštel do deset. Zdaj ga je Joe še enkrat silovito zadel in ga knockoutiral. Prav takrat je zadonel gong. Je bil udarec po pravilih ali ne? Sodnik je odločil, da je bilo vse po pravilih, Buddy pa je protestiral in sedme runde ni hotel nadaljevati. Sodnik ga je diskvalificiral in Joeja razglasil za zmagovalca. A senca dvoma je ostala. Zaradi tega so športni strokovnjaki ocenili, da njegova zvezda zahaja in ga bo novi izzivalec, Irec Billy Conn, s katerim naj bi se srečal 18. junija, dotolkel. Ni ga, četudi je bil hiter, bister in neverjetno spreten. A je tudi tokrat zmagal za las. V trinajsti rundi mu je nasprotnika uspelo knockoutirati, če pa bi mu spodletelo, bi na koncu zagotovo izgubil, saj si je Irec med dvobojem prislužil več točk. In tega se je zavedal tudi sam, četudi mu je dvoboj prinesel 591.117 dolarjev. Le malo je manjkalo in bil bi ob naslov, ker je boksal prepogosto in je bil preutrujen. Pred novim srečanjem septembra je sklenil oditi na dopust. Prilegel bi se tudi njegovi ženi Marvi, a zanjo ni bilo časa. Vedno je bila sama, zato je hotela biti z njim vsaj tokrat. Rekel je ne in ona je vložila tožbo za ločitev. Kot razlog je navedla zanemarjanje in dejstvo, da jo je v zadnjih dveh mesecih dvakrat prizadel. Ali bolje, udaril. Luis se ji ni upiral: »Če ne želi več biti moja žena, je ne bom silil,« je bil brezbrižen, dokler mu ni odvetnik povedal, da zahteva Marva polovico njegova denarja in posestev ter polovico vsega, kar bo zaslužil v prihodnosti. To ga je postavilo na realna tla. Zahteval je poravnavo. Vendar sta se zakonca tik pred obravnavo odločila za še en pogovor. Po eni uri je Joe iz sobe stopil z ženo v naročju. Zakon je bil rešen, a ne za dolgo. Osmega februarja 1943 se je zakoncema sicer rodila hčerka, ki sta jo po Jacku Blackburnu, ta je leta 1942 umrl zaradi srčnega napada, poimenovala Jacqueline, vendar njunega zakona ni mogla rešiti. Marva in Joe, ki v vseh letih zakona nista preživela skupaj več kot šest mesecev, sta se ločila 27. marca 1945. Ponovno sta se poročila leta 1948,