Иванов започва да играе в юношеския отбор Трудови резерви. През 1950 г. е привлечен от ленинградския Зенит, за който след това играе 11 сезона. Капитан на отбора през 1957 – 1958 г.[2] 3 пъти включен в списъка на 33-те най-добри играчи от сезона (1951, 1952, 1953). Обикновено действа в левия фланг на атаката.
От лятото на 1958 г. е част от националния отбор на СССР. Участник в Световната купа през 1958 г. Той става първият играч на Зенит, който взима участие в последната част от първенството. В дебютния си мач за националния отбор на 8 юни 1958 г. отбелязва гол на британците.