Milnor syntyi Orangessa New Jerseyssä. Hän opiskeli Princetonin yliopistossa. Hän oli Putnam-kilpailun voittaja vuosina 1949 sekä 1950 ja myös kuvasi Faryn–Milnorin teoreeman jo vuonna 1950 István Fárysta riippumatta. Hänen puolisonsa on englantilainen kollega Dusa McDuff.
O'Shea, Donal: Poincarén konjektuuri: Maailmankaikkeuden muotoa etsimässä, s. 191–195. (The Poincaré conjecture: In search of the shape of the universe, 2007.). Suomentanut Pietiläinen, Juha. Helsinki: Terra Cognita, 2012. ISBN 978-952-5697-28-5.