Brown fu scelto dai Baltimore Ravens nel corso del quinto giro del draft 2011[1]. Nella sua stagione da rookie disputò sette partite, nessuna delle quali come titolare, mettendo a segno 4 tackle e un passaggio deviato. Nella stagione 2012 disputò tutte le 16 partite, una come titolare, salendo a 25 tackle e 6 passaggi deviati, coi Ravens che arrivarono a vincere il Super Bowl XLVII contro i San Francisco 49ers. Nella successiva giocò ancora tutte le 16 gare, nessuna come titolare, con 10 tackle.
^(EN) Brown picked by Ravens in NFL draft, kvue.com, 30 aprile 2011. URL consultato il 25 gennaio 2013 (archiviato dall'url originale l'11 marzo 2012).