Le numéro trois mondial Zverev, qui disputait son premier match depuis sa défaite au premier tour à Wimbledon, était loin de son meilleur niveau, mais il s'est imposé 7-6(6), 6-4 face à Adam Walton sous les projecteurs de Toronto.
L'élan a basculé en faveur de Zverev lorsqu'il a remporté un échange de 52 coups dans le jeu décisif du premier set, et il a scellé la victoire sur une double faute de l'Australien dans le deuxième set.
"C'était un moment très important, un point très important pour moi", a déclaré Zverev. "J'ai eu de la chance de m'en sortir dans le premier set et de conclure en deux sets".
Zverev a affirmé qu'il n'avait pas joué son "plus beau" match, mais qu'il était fier de la façon dont il s'était battu après avoir pris une pause à la suite de son élimination précoce à Wimbledon.
"J'ai pris un peu de repos, ce dont j'avais besoin pour moi aussi. Je suis heureux de rejouer", a-t-il ajouté.
Zverev affrontera jeudi Matteo Arnaldi.
Chez les femmes, la tête de série numéro un Gauff était à deux points de la défaite mais s'est battue pour battre sa compatriote américaine Danielle Collins 7-5, 4-6, 7-6(2) dans un combat de près de trois heures pour atteindre le troisième tour.
Gauff, championne de Roland-Garros, a surmonté 23 doubles fautes et 74 fautes directes pour battre Collins lors de leur première rencontre en carrière.
"Je m'entraînais bien et je ne pense pas avoir réussi à le reproduire aujourd'hui, mais j'espère que mon mauvais match du tournoi est derrière moi", a déclaré Gauff.
Plusieurs joueurs de premier plan ont déclaré forfait avant le Masters et le tournoi WTA 1000, notamment Aryna Sabalenka et Jannik Sinner, Carlos Alcaraz,Novak Djokovic et Jack Draper.