Le prime apparizioni del club in Allsvenskan risalgono alla prima metà degli anni ottanta, con due fugaci annate (1980 e 1983) entrambe culminate con la retrocessione. La squadra è tornata a disputare la Allsvenskan nel 2010, anno durante il quale ha ottenuto il piazzamento più prestigioso della sua storia con un 6º posto. Al termine della stagione 2014 è retrocesso in Superettan, mentre al termine di quella 2015 è ulteriormente sceso in Division 1. È tornato a militare nella seconda serie nazionale in occasione della Superettan 2019, campionato vinto proprio dal neopromosso Mjällby che si è dunque qualificato per la Allsvenskan 2020 grazie alla seconda promozione nel giro di due anni.