A "Tengerész" becenévre hallgató Brown a negyvenes évek egyik legjobb belsőcsatára volt, hatszor a válogatottban is szerepet kapott.
Brown a Charltonban lett neves játékos, később azonban játszott a Milwallban, a NOttinghamben és az Aston Villában is.
Brown 1943 és 1946 között négy egymás utáni döntőben is pályára lépett a Wembleyben. 1943-ban, 1944-ben és 1945-ben a Ligakupában, míg 1946-ban a háború utáni első FA-kupában.