Varvodić' carrière begon in de jeugd van Hajduk Split. In 2006 werd hij prof in 2007 werd hij voor één seizoen verhuurd aan NK Mostar. Van 2008 tot 2010 werd Varvodić verhuurd aan 1. FC Köln. In 2010 maakte hij de definitieve overstap van Hajduk Split naar 1. FC Köln. Op 23 juni2012 tekende Varvodić een 2-jarig contract met de Azerbeidzjaanse voetbalclub FK Qarabag Agdam.[1] In januari 2014 werd het contract van Varvodić zes maanden voor tijd verbroken. Vervolgens sloot SpVgg Greuther Fürth een eenjarig contract met de Kroaat. Varvodić zit momenteel zonder club.