Легендарная защитная линия "Милана", более известная как "Непобедимые", в которую входили пять игроков: Барези, Тассоти, Костакурта, Мальдини и Филиппо Галли, который был куплен в клуб в сезоне 1981/82 из "Пескары". С первой командой "Милана" он начал выступать уже со следующего сезона. При Нильсе Линдхольме он стал идеальной связкой с Франко Барези, и в первом победном сезоне под руководством уже Аригго Сакки, сыграл в 30 матчах. В историческом финале Лиги Чемпионов 1994 года против "Барселоны" Галли был дисквалифицирован, также как и Барези с Костакуртой. В составе "Милана" и сборной он завоевал множество всевозможных трофеев.

В 1996 году он был продан в другой клуб Серии А - "Реджину". И в итоге после скитания по незначительным клубам заершил карьеру игрока в 2004 году, после чего находится в молодежной структуре "Милана".