Nadien was Ribbeck onder meer trainer bij de Duitse topclubs Borussia Dortmund, Bayer Leverkusen en Bayern München. Zijn grootste succes beleefde hij in het seizoen 1987/88, toen hij Bayer Leverkusen naar de eindoverwinning loodste in de UEFA Cup. Hij sloot zijn loopbaan af als bondscoach van Duitsland (1998–2000). Ribbeck zwaaide af na het voor Die Mannschaft mislukte EK voetbal 2000 in België en Nederland. Hij werd opgevolgd door Rudi Völler.