Albrecht był synem Albrechta I Habsburga i Elżbiety Tyrolskiej. Początkowo był przeznaczony do kariery duchownej i otrzymał staranne wykształcenie. W wieku 15 lat został wybrany na biskupa Pasawy. W maju 1324 poślubił Joannę von Pfirt. Po śmierci w 1326 brata Leopolda I Sławnego zarządzał częścią Austrii i wiódł spory z bratem Ottonem Wesołym. Gdy w 1330 zmarł inny jego brat Fryderyk III Piękny, Albrecht wraz z Ottonem przejęli rządy w Austrii i Styrii. W marcu 1330 zachorował i do końca życia miał niesprawną rękę i nogi. Musiał być noszony na specjalnym krześle dźwiganym przez służbę lub zawieszonym między dwoma końmi.
Albrecht nie starał się o koronę królewską. Był pierwszym Habsburgiem, który związał się trwale z Austrią. Powiększał rodowe posiadłości. W 1335 uzyskał Karyntię, Krainę i Marchię Wendyjską. Po śmierci brata Ottona został jedynym władcą ziem habsburskich. Wówczas zaczął rezydować w Wiedniu. Starał się prowadzić pokojową politykę, ale w latach 1351-1355 prowadził wojnę z Zurychem. Zagrożeniem dla dynastii był brak potomstwa, więc Albrecht wraz z żoną udali się na pielgrzymkę do Akwizgranu, by modlitwą wesprzeć starania o potomków. Albrecht doczekał się sześciorga dzieci.
