Brown ruilde de jeugdopleiding van Ipswich Town in 2016 in voor die van Chelsea FC. Met de jeugd van Chelsea haalde hij in de seizoenen 2017/18 en UEFA Youth League 2018/19 de finale van de UEFA Youth League. Brown kwam in beide finales in actie, maar verloor deze van respectievelijk FC Barcelona en FC Porto. In het seizoen 2018/19 kroonde hij zich tot topschutter van het toernooi met twaalf goals.
In januari 2020 stuurde Chelsea hem op huurbasis naar de Belgische tweedeklasser Union Sint-Gillis.[1] In de tweede helft van het seizoen 2019/20 mocht hij drie keer aantreden in Eerste klasse B. Toen hij het seizoen daarop onder de nieuwe trainer Felice Mazzu niet meer aan spelen toekwam, riep Chelsea hem in oktober 2020 terug.[2]