Nella stagione 1968-1969 il presidente Costantino Rozzi, in attesa di trovare un nuovo allenatore per la Del Duca Ascoli, gli affidò temporaneamente per due volte la conduzione della prima squadra; il 24 novembre 1968 avviene l’esordio in panchina in sostituzione di Malavasi, poi il 4 maggio 1969 al posto di Capello e fino alla fine del campionato di Serie C. Nel campionato seguente Mazzone, nella penultima giornata di andata, sostituì fino al termine della stagione l’allenatore Eliani; portò la squadra per la prima volta nella sua storia in testa al campionato, sfiorando la promozione.

Mazzone rimase all’Ascoli fino al 1975. In questo periodo, con due promozioni in tre anni, portò la squadra dalla Serie C alla massima serie. Nel campionato 1974-1975 ottenne la prima di molte salvezze in Serie A. Tanti grandi giocatori sono rimasti legati da sentimenti di stima e amicizia con il tecnico, tra i quali Roberto Baggio, Francesco Totti e Pep Guardiola.