Bár az egyik legrégibb magyar arisztokrata családba született, nem élvezhette fiatalon az úri pompát, az ősi kastélyt ugyanis államosították a második világháború után. Károlyi Györgynek több jutott a kemény munkából, mint a csillogásból. Vendégünk volt Károlyi György leendő párizsi nagykövet.