Toplamda 26 kere milli takım formasını giyen Ancelotti, İlk kez 6 Ocak 1981 tarihinde Enzo Bearzot yönetiminde, bir Hollanda maçında son kez de Arrigo Sacchi yönetiminde bir Norveç maçında forma giydi. Yaşadığı diz sakatlığından dolayı 1982 Dünya Kupası kadrosunda yer alamadı. 1986 Dünya Kupası kadrosunda yer aldı fakat hiç bir maçta oynama şansı elde edemedi. Yeni teknik direktör Azeglio Vicini yönetiminde ise 1988 Avrupa Şampiyonasında kilit oyuncularındandı. Seol Olimpiyat oyunlarında takım kadrosunda yer aldı ancak yine bir diz sakatlığı turnuvada oynamasına engel oldu. İtalya 1990 Dünya Kupasında yine kadrodaydı. Grubun 2 maçında yine bir sakatlık yaşadı ve İngiltere ile oynanan 3.lük maçına kadar takım kadrosunda yer alamadı.