Rodil se je v Suffolku v Virginiji, se naučil kitaro od očeta mandolinista, odrasel pa ob poslušanju južnjaških glasbenikov, ki so med veliko gospodarsko krizo hodili v očetovo trgovino. Med drugo svetovno vojno se je bojeval v Evropi in igral vojakom. Konec 40. let se je uveljavil na jazzovski sceni vzhodne obale. Leta 1950 se je preselil v Washington, leta 1954 pa odšel v Italijo na povabilo Andresa Segovie. »Kadar je igral Charlie, smo se premaknili na višjo raven,« je dejal o njem prijatelj glasbenik Dick Glass. »Bil je nadarjen za jazz in za klasično glasbo, do konca pošten in pravi glasbenik. Nikoli ni posnemal drugih, igral je iz srca.« Ena njegovih največjih uspešnic je Desfinado.