Vanderstappen sloot zich in 1897 aan bij Union Saint-Gilloise, samen met zijn broers Charles en Gustave. Joseph maakt in 1903 de overstap naar de eerste ploeg en staat er tot 1910 onder de lat. In die periode wordt Union zes keer landskampioen (1904, 1905, 1906, 1907, 1909 en 1910). Het lukt Vanderstappen in die periode zelfs om 40 wedstrijden op rij de nul te houden.