Pierwszym klubem Bergera w karierze był TJ Břevnov. Jego piłkarzem był do 1976 roku i wtedy też przeszedł do Škody Pilzno. W barwach Škody zadebiutował w pierwszej lidze czechosłowackiej. Po 2 latach gry w klubie z Pilzna odszedł do Dukli Praga. Zawodnikiem Dukli był przez 2 sezony, a w 1979 roku osiągnął swój pierwszy sukces w karierze, gdy wywalczył mistrzostwo Czechosłowacji.
W 1980 roku Berger odszedł z Dukli do innego praskiego zespołu, Sparty. Swoje pierwsze sukcesy ze Spartą osiągnął w sezonie 1983/1984, gdy został mistrzem kraju oraz zdobył Puchar Czechosłowacji. W 1985 roku obronił ze Spartą tytuł mistrzowski.