Podczas kariery piłkarskiej występował w GAIS. Z GAIS zdobył mistrzostwo Szwecji w 1931. Ogółem w barwach GAIS rozegrał 109 spotkań, w których strzelił 57 bramek.
W reprezentacji Szwecji Gustavsson zadebiutował 12 czerwca1932 wygranym 3-1 towarzyskim meczu z Belgią. W 1934 József Nagy, ówczesny selekcjoner reprezentacji Szwecji powołał Gustavssona na mistrzostwa świata. Na turnieju we Włoszech wystąpił w obu meczach Szwecji z Argentyną i Niemcami. Ostatni raz w reprezentacji wystąpił 23 września1934 w wygranym 3-1 towarzyskim meczu z Łotwą, w którym w 89 min. zdobył bramkę ustalającą wynik. W latach 1932–1934 rozegrał w reprezentacji 9 meczów, w których zdobył 3 bramki.