Dzimis pareizticīgo priestera ģimenē. Pirmā pasaules kara laikā 1915. gadā viņu mobilizēja Krievijas impērijas armijā.. Pēc StaļinaLielā terora, kad tika represēta liela daļa no Sarkanās armijas augstākajiem virsniekiem, 1937. gadā sāka dienestu Ģenerālštābā.
Otrā pasaules kara laikā no 1942. gada jūnija līdz 1945. gada februārim bija PSRS Bruņoto spēku Ģenerālštāba priekšnieks un plānoja gandrīz visas būtiskās Sarkanās armijas kara operācijas, sākot no pretuzbrukuma Staļingradas kaujas laikā līdz Austrumprūsijas ieņemšanai. Vadīja arī Mandžūrijas operāciju pret Japānu.
Pēc kara bija Ģenerālštāba priekšnieks no 1946. gada 22. marta līdz 1948. gada novembrim un PSRS Aizsardzības ministrs no 1949. līdz 1953. gadam. Pensijā pēc Ņiktas Hruščova nākšanas pie varas. Apglabāts Maskavas Kremļa sienā.