In 1975 ging Yamaguchi naar de Oita Technical High School, waar hij in het schoolteam voetbalde. Nadat hij in 1978 afstudeerde, ging Yamaguchi spelen voor Mitsubishi Motors. Met deze club werd hij in 1978 en 1982 kampioen van Japan. Yamaguchi veroverde er in 1978 en 1981 de JSL Cup en in 1978 en 1980 de Beker van de keizer. Yamaguchi beëindigde zijn spelersloopbaan in 1984.