Po smrti svého strýce v roce 1965 se Karel stal dědicem majetku rodu. Schwarzenberg se v zahraničí angažoval v oblasti lidských práv a udržoval kontakty s disidenty. Po pádu železné opony začal Schwarzenberg aktivně působit v politice a stal se kanceléřem prezidenta Václava Havla.
V soukromém životě prošel Schwarzenberg řadou peripetií. Po deseti letech známosti se oženil s Theresou Hardegg, s níž měl dvě děti. Vztah ale nepřetrval a po rozvodu v roce 1979 oba začali žít své vlastní životy. Po několika letech se ale dvojice znovu dala dohromady a v roce 2008 se vzali podruhé.
