In 1948 ging Inoue naar de Kwansei Gakuin University, waar hij in het schoolteam voetbalde. Nadat hij in 1952 afstudeerde, Inoue speelde voor All Kwangaku en New Mitsubishi Heavy Industries. Inoue veroverde er in 1955 de Beker van de keizer. Inoue beëindigde zijn spelersloopbaan in 1960.