Brough castelo foi construído em 1090's em um dos cantos dos restos de uma fortificação romana. Foi um dos primeiros castelos pedras a ser construído na Grã-Bretanha e algumas das paredes show o padrão espinha típico de alvenaria de Norman. Em 1174 Brough foi atacado pelo rei escocês William o Leão e deixado em um estado ruinoso depois ele forçou a rendição por atear fogo ao castelo. Na 1180 que o castelo foi reconstruído por Theobald de Valoignes que construiu uma torre de menagem quatro-pagode novo no site de um anteriormente destruído.