Efter spelarkarriärren blev Osim tränare och ledde sitt kära Zeljeznicar innan han blev förbundskapten för Jugoslaviens landslag. Han rundade av tränarkarriären genom att leda det japanska landslaget men efter att ha drabbats av en stroke la han av och blev hederspresident i det bosniska fotbollsförbundet något han var i 10-tal år. Ivica har en son som heter Amar som även han har tränat Zeljeznicar.