Schäfer won het Duitse voetbalkampioenschap met 1. FC Köln in 1962 en 1964 en werd in 1963, op 35-jarige leeftijd, verkozen tot Duits voetballer van het jaar. In de eerste twee seizoenen van de nieuw opgerichte Bundesliga speelde hij 39 wedstrijden (20 doelpunten) alvorens hij zijn professionele carrière beëindigde.