Весной 1958 года "Палмейрас" провёл турне по Европе. Игра Жозе Альтафини пришлась по вкусу многим командам "Старого Света". Наиболее конкретный интерес выразили итальянские клубы - "Милан" и "Рома". Договор с римской командой был уже готов, но руководство "Палмейраса" предпочло "россонери", чьё предложение - 130 млн. лир (около 500 тыс. долларов или 25 млн. крузейро) было более выгодным. Этот трансфер стал в то время рекордным в истории футбола Бразилии. Президент клуба Риццоли рассчитывал, что бразилец заменит в составе центрфорварда Гуннара Нордаля, ушедшего из команды. В клубе футболист дебютировал 6 сентября 1958 года в матче с "Болоньей". Сразу по приезде в Италию, руководство "Милана" попросило Алтафини отказаться от прозвища "Маццола", чтобы не обижать двух сыновей Валентино. В первом же сезоне футболист стал чемпионом Италии и лучшим бомбардиром команды с 28-ю мячам, уступив в общем бомбардирском счёте лишь Антонио Анджелилло. На следующий год футболист забил 20 голов в чемпионате, четыре из которых в одной встрече - с миланским "Интером". В два последующих года форвард забивал по 22 мяча в первенстве. И в сезоне 1961/1962 он во второй раз стал победителем Серии А. В этом же розыгрыше турнира нападающий забил 4 гола в матче с туринским "Ювентусом". Этот же период характеризовался конфликтами с главным тренером команды Луиджи Бониццони, закончившийся лишь после ухода тренера из клуба. В сезоне 1962/1963 бразилец забил в чемпионате лишь 11 голов, но это ухудшение результативности он компенсировал в Кубке чемпионов, где 14 раз поражал ворота соперника, что до сих пор является рекордным показателем. Из этих 14 голов, пять Алтафини забил в одной встрече - против люксембургского клуба "Унион". Дважды в том же розыгрыше форвард забивал по три мяча: в ворота того же "Униона" и "Галатасарая". А два гола Жозе забил в финале турнира с "Бенфикой", принеся победу своей команде со счётом 2:1; по легенде, Нерео Рокко, главный тренер "Милана", в перерыве специально разозлил Алтафини, сказав, что он играет как кролик, после чего тот вышел на поле и дважды забил. В следующем сезоне Алтафини забил 19 голов. Однако летом 1964 года он обратился к руководству "россонери", требуя повышения заработной платы. После отказа, Жозе сначала отказывался выходить на поле, а затем уехал на родину в Бразилию, сказав: "Без контракта я не играю". Футболист даже тренировался с "Палмейрасом", но, затосковав по Италии, на рождество послал открытку Виане. Первоначально Виана наложил мораторий на возвращение игрока, но затем сменил гнев на милость. В результате, в январе 1965 года Алтафини вернулся в Италию, когда его клуб находился на первом месте и претендовал на победу в турнире. Однако с ним в составе "Милан", имевший 7-очковое преимущество над ближайшим преследователем, выступил плохо и занял второе место. Болельщики клуба обвинили во всём Алтафини, а руководство пошло на поводу у тиффози, и форвард был выставлен на трансфер. Всего за "Милан" Жозе провёл 246 матчей и забил 161 гол.