In seizoen 1978/'79 begon hij zijn profcarrière bij FC Vlaardingen '74 waar hij twee seizoenen speelde. Hij vertrok in 1980/'81 naar Fortuna Sittard waar hij acht jaar actief zou blijven. In 1988/'89 speelde hij nog voor twee seizoenen FC Groningen. De verdediger speelde een interland voor het Nederlands elftal. Op 24 mei 1988, in de aanloop naar het EK 1988 had hij een basisplaats in de oefeninterland tegen Bulgarije. Hij maakte dat jaar ook deel uit van de selectie die Europees kampioen werd.
In 1990 stopte Koevermans, waarna hij voor FC Groningen aan de slag ging als assistent-trainer. Na vier seizoenen was hij even trainer, maar ging aan de slag bij RBC waar hij anderhalf seizoen bleef. In december 1995 zei hij zijn contract bij RBC op om naar N.E.C. te gaan als opvolger van Cees van Kooten. Vanaf januari 1997 kwam BNN op het shirt van de club te staan als onderdeel van de campagne om een publieke omroep te worden. In het gelijknamige programma op Veronica was het bellen met Koef een vast onderdeel. Bart de Graaff voorzag de trainer hierin van ongevraagd advies en commentaar. In maart 1997 werd Koevermans bij N.E.C. ontslagen. Hierna had hij twee jaar geen club. In het seizoen 1998/'99 kreeg hij een baan aangeboden bij MVV waar hij drie seizoenen actief zou zijn, maar werd ontslagen. Van 2002 tot 2008 was hij aan de slag als jeugdtrainer bij het Nederlands elftal. Daarna was hij tot 2012 actief bij de Ierse voetbalbond en in 2010 was hij kortstondig trainer van het Iers voetbalelftal onder 21. In juni 2012 tekende hij voor twee jaar als bondscoach van India.