Ko je babica umrla, je vstopil v semenišče, od koder so ga nagnali zaradi – dolgov. Zatem se je kot tajnik zaposlil pri vplivnem kardinalu Acqavivi v Rimu, kjer je med drugim zlagal ljubezenska pisma za nekega drugega kardinala. Zapletel se je v prešuštvo, pri katerem ni imel nič, kardinal Acqaviva ga je prepoznal za grešnega kozla in ga odpustil. Vrnil se je v Benetke z namero, da bi postal vojak. Na vojaštvo se ni spoznal, godila mu je zgolj sijajna uniforma. Poslali so ga na Krf in od tam v Carigrad, kjer je bil kratek čas pisar. Pri enaindvajsetih se je vrnil domov in postal violinist. Priključil se je tolpi muzikantov, ki je rovarila po mestu. Nekega dne mu je usoda na pot pripeljala novega dobrotnika, beneškega senatorja Bragadina – rešil ga je gotove smrti, ko je velel odstraniti mazilo iz živega srebra, ki mu ga je (potem ko je senatorja zadela kap) na prsi nanesel zdravnik. Ko je Bragadin ozdravel, je postal Giacomov dosmrtni mecen in rad mu je svetoval, naj nekoliko zauzda svojega konja (različni meceni so ga pravzaprav vzdrževali vse življenje). Leta 1749 je spoznal svojo prvo veliko ljubezen, Henriette, o kateri je zapisal: »Ljudje, ki so prepričani, da ženska ne more vseh 24 ur enako zadovoljevati moškega, še niso srečali Henriette.« Zapustila ga je zlomljenega srca. O tej njegovi domnevno edini pravi ljubezni so posneli film, v katerem je ljubimca upodobil pokojni Heath Ledger.