Castelo branco, junto com Skenfrith e Grosmont, é um dos três castelos construídos para proteger uma das principais rotas através da região de fronteira entre a Inglaterra e Gales do Sul. No final 1130 do King Stephen reuniu todos os três castelos sob um único senhorio que controlava todos os 'três castelos' como uma unidade defensiva. Na na 1180 castelo branco parece ter sido o primeiro dos três castelos a ser reconstruída em pedra. Castelo branco foi originalmente chamado de Castelo de Llantilio, mas ganhou seu novo nome do processamento de gesso branco que cobriam as paredes. No início do século XIII, que Hubert de Burgh realizado o senhorio dos três castelos. Ele construiu castelos de pedra modernos de Grosmont e Skenfrith, mas deixou as defesas de pedra existentes no castelo branco. Ao contrário de outros dois castelos, castelo branco parece ter sido principalmente um posto militar em vez de uma casa para uma família nobre.