Herberger 1921 és 1925 között három alkalommal szerepelt a német válogatottban, mielőtt 1932-ben Dr. Otto Nerz segédje lett. Nerz utódja Herberger lett a szövetségi kapitányi poszton, bemutatkozására az 1936-os olimpia után került sor. A második világháború után rövid ideig az Eintracht Frankfurtnál dolgozott. Egészen 1964-ig ő volt a nyugatnémet válogatott szövetségi kapitánya, majd Helmut Schön lépett a helyébe. 80 éves korában, Mannheimben, kórházban hunyt el tüdőgyulladás következtében.
Herbergernek közismert volt az a tulajdonsága is, hogy rövid mondatokban, lényegre törően összegezte a mérkőzések történéseit. Ezek közül három szerepelt A lé meg a Lola című 1998-as filmben is.