In 1948 boekte Németh de grootste overwinning van zijn sportcarrière. Hij won op de Olympische Spelen van Londen een gouden medaille bij het kogelslingeren. Met een beste poging van 56,07 m versloeg hij de Joegoslaaf Ivan Gubijan (zilver; 54,27) en de Amerikaan Bob Bennett (brons; 53,73). Vier jaar later op de Olympische Spelen van 1952 in Helsinki moest hij op hetzelfde onderdeel genoegen nemen met een bronzen medaille.
In zijn actieve tijd was Imre Németh aangesloten bij Vasas in Boedapest. Hij is de vader van olympisch kampioen speerwerpenMiklós Németh.