Le site sur lequel Floors Castle a été construit est une terrasse naturelle surplombant la rivière Tweed juste en face des Cheviot Hills, qui sont au centre du domaine familial. Il se trouve sur la rive opposée de Roxburgh Castle, autrefois la plus solide forteresse le long de l'ancienne frontière militaire avec l'Angleterre. En 1721, William Adam fut choisi par le 1er Duc pour étendre la partie est d'une tour habitable existante afin de créer une demeure de châtelain géorgienne, simple et symétrique.

Le 6ième Duc invita le meilleur architecte d'Edimbourg, William Playfair à redessiner le château entre 1837 et 1847.

Il s'inspira pour Floors du style de l'hôpital Heriot à Edimbourg, bâtiment pittoresque hautement décoré. Le résultat est un château romantique de contes de fées avec une toiture de tourelles, pinacles et coupoles.