Джованни Галли является воспитанником молодежной академии "Фиорентины", в составе которой он и дебютировал в Серии А в сезоне 1977/78. Он защищал ворота "Фиорентины" с 1977 по 1986 годы, после чего стал игроком "Милана". С "россонери" он победил в нескольких кубках: две Лиги Чемпионов (1988/89, 1989/90), Скудетто (1987/88), Евро/Южно-Американский Кубок (1989), Суперкубок Европы (1989) и Суперкубок Италии (1988).

С сезона 1990 года он играл в "Наполи" на протяжении трех лет, где завоевал еще один Суперкубок Италии в 1990 году. В течение сезона 1993/94 он уже выступал за "Торино", в следующем сезоне в "Парме", но уже в роли резервного вратаря, там он стал обладателем Кубка УЕФА. В октябре 1995 года стал игроком "Луккезе", где и завершил карьеру.