Até o final do século XVI, a maior parte do solo baixa situado entre centeio e Winchelsea foi um porto raso, chamado o Camber, protegida do mar por uma longa série de bancos de cascalho. Entre 1512 e 1514 Sir Edward Guldeford construiu uma torre circular no final de um destes espetos de cascalho para defender o porto. Em 1538 a ameaça de invasão da França Católica e Espanha levou Henrique VIII parComCompilação uma Cadeia de fortalezas de artilharia ao longo da Costa Sul para proteger áreas estratégicas e vulneráveis. Torre de existente no Camber foi incorporado um novo forte construído entre 1539 e 1544. No entanto o castelo estava a ter uma vida ativa muito curta. Até o final do século XVI o assoreamento do Camber fez do castelo em grande parte obsoleto e em 1637 a guarnição foi dissolvida. Abandono do castelo tão cedo fez com que ao contrário de outras fortalezas do rei Henrique, como o Castelo de Walmer, que foram grandemente modificadas ao longo dos séculos, no Castelo de Camber o design original ainda permanece.