Narodil se 24. června 1863 v Sedlčanech. Byl synovcem Karla Havlíčka Borovského. Po ukončení gymnázia v roce 1881 začal studia na Právnické fakultě Univerzity Karlovy v Praze, které úspěšně ukončil v roce 1888. Poté působil jako soudní úředník a od roku 1891 jako advokát v Praze. Jako obhájce se zúčastnil mnoha procesů proti redaktorům českého tisku, např. proces s Omladinou v roce 1894.
Karel Baxa byl také činný v politice. V letech 1895-1913 byl poslancem Českého sněmu, od roku 1901 byl i poslancem Říšské rady. Nejprve se počítal k Mladočechům, odkud však v roce 1899 odešel a založil spolu s Aloisem Rašínem Stranu státoprávně radikální. Roku 1908 přešel s částí členů do České strany státoprávně pokrokové. V roce 1911 ji opustil a přešel do České strany národně sociální, kde zůstal až do konce svého života.
Po vzniku samostatného Československa byl zvolen v roce 1919 pražským starostou. V roce 1922 se stal prvním primátorem tehdy vytvořené Velké Prahy. Znovu zvolen byl ještě třikrát, rezignoval až v roce 1937 pro vysoký věk. Od roku 1921 byl také předsedou ústavního soudu. Zemřel 5. ledna 1938 v Praze.