В качестве игрока Карло Анчелотти выступал в амплуа полузащитника. Провел 26 матчей за сборную Италии, участвовал в Чемпионате Мира 1990 года.

Анчелотти начал свою профессиональную карьеру в 1976 году в "Парме". В 1979 году состоялся его переход в "Рому", в составе которой он выиграл Серию А и 4 раза Кубок Италии. С 1987 по 1992 годы Карло Анчелотти был игроком и одним из лидеров легендарного состава "Милана", выигравшего 2 раза подряд Кубок европейских чемпионов в 1989 и 1990 годах. В 1992 году он завершил карьеру игрока, когда ему было всего 33 года.

Через 9 лет, в ноябре 2001 года он был назначен главным тренером команды, заменив на посту Фатиха Терима. Это было начало нового успешного периода эры Берлускони после застоя середины-конца 90-х. Только Нерео Рокко возглавлял клуб дольше, чем Карло Анчелотти (420 матчей). Он покинул свой пост по окончании сезона 2008/09, уступив его другой легенде клуба Леонардо.

Всего с "Миланом" в качестве игрока и тренера Карло выиграл 17 различных трофеев.