Zgodovinar Einhard, ki je živel na Karlovem dvoru, se Karla spominja kot visokoraslega, močnega človeka z gladko obrito brado, kot je bila tudi sicer navada pri Frankih. Sicer pa so Karla Velikega vedno upodabljali z (brado). Govoril je svoj materi, germanski jezik ter le za silo obvladal latinsko in grško. Kljub temu da so ga že od malega obdajali izobraženi duhovniki, se je naučil le brati, pisati ni znal. V vsem svojem življenju se je štirikrat poročil. Prva poroka z langobardsko princeso je bila politična. S preostalimi tremi ženami Hildegardo, Fastrado in Luitgardo je imel kopico otrok, ki so sestavljali zajetno družino, na katero je bil zelo navezan. Znano je, da svojih hčera praviloma ni silil v politične poroke, saj mu je bilo ljubše, da jih je imel ob sebi na dvoru.