Após muitos anos de escocês incursões na região, a William Strickland, que mais tarde se tornou bispo de Carlisle, foi concedida uma licença para crenellate sua propriedade em 1397. Ele começou como uma torre de Pelé e expandiu-se para um castelo quadrado construído ao redor de um pátio. Muito do desenvolvimento do castelo foi realizado por Ralph Neville, primeiro Conde de Westmorland, que herdou a propriedade em 1419. Ainda mais melhorias foram feitas por Richard, Duque de Gloucester, durante seu tempo como tenente do Norte, antes que ele ascendeu ao trono como Richard III em 1483.