Kolumb je s svojimi odkritji predvsem želel obogateti. Tega kljub slabemu glasu, ki se je širil o njem, ni skrival. Nekaj priseljencev, ki so se s Hispaniole vrnili v Španijo, ga je obtožilo, da je ogoljufal kralja, na dan so prišle tudi zgodbe o tiraniziranju priseljencev. To naj bi počeli tako Krištof Kolumb kot oba njegova brata, Diego in Bartolomej. Španska kralj in kraljica sta zato na Hispaniolo poslala novega guvernerja. Ta je na otoku 53-letnega Kolumba skupaj z njegovima bratoma vklenil v verige in zaprl. Nekaj tednov kasneje so vse tri z ladjo poslali v Španijo. Oktobra leta 1500 je Kolumb, ki je zbolel za artritisom, poleg tega mu je pešal vid, iz zapora pisal sodišču, ki se je pripravljalo na njegovo sojenje: »Sedemnajst let mineva, odkar sem kralja in kraljico seznanil s svojim načrtom, kako osvojiti zahodno Indijo. Zavrnila sta me, a sem vztrajal … Odtlej je po moji zaslugi špansko kraljestvo bogatejše za več ozemlja, kot ga ima v Afriki in Evropi skupaj, in za 1700 otokov. Vse to mi je po božji volji uspelo opraviti v sedmih letih. Ko pa bi moral za svoje delo prejeti zasluženo plačilo in v miru počakati na starost, so me vklenili v verige in poslali domov. In vse to samo zaradi lažnivih obtožb nekaj nevoščljivcev, ki so se sami želeli polastiti ozemelj … Vašo ekscelenco kot veren kristjan vljudno prosim, da pozorno preuči vse dokumente in pravično odloči, ali se mi ni zgodila krivica. Odloči naj, ali mi niso po krivem vzeli tako časti in dobrega imena kot vsega premoženja.« Na sojenju Krištofu Kolumbu je triindvajset prič potrdilo, da je barbarsko mučil in še drugače tiraniziral domačine, da bi na Hispanioli zadržal neomejeno oblast. To mu je sicer dodelil kralj, a jo je po mnenju sodnikov zlorabil. Po šestih tednih zapora je prišel ukaz kralja Ferdinanda in kraljice Izabele za izpustitev vseh treh bratov Kolumb. Sprejela sta jih v svoji rezidenci in uslišala njihove prošnje: vrnila sta jim tako prostost kot vse zaseženo premoženje v zlatu, denarju in posesti. Kolumbu je španska kralja in kraljico uspeli celo prepričati, da sta se odločila financirati njegovo četrto odpravo. Kljub temu da je bil Kolumb povsem blizu ameriške celine, na prvih treh potovanjih ni pristal na njej. To mu je uspelo šele na zadnjem velikem potovanju, na katero je v spremstvu brata Bartolomeja in 13-letnega sina Fernanda s štirimi ladjami krenil leta 1502. Najprej so pluli mimo Maroka in tam jim je uspelo iz mavrskih rok rešiti nekaj