Zámek byl kdysi žulovým kamenným domem postaveným Isoltem Sayrem a Jamesem Stewardem jako jejich domov, pojmenovaný po Isoltově dětském domově v Irsku. Když se z něj nakonec stala škola, dům se neustále rozšiřoval, až se z něj stal hrad.[1]
Byly zde také ubytovny a centrální věž s erbem Ilvermorny uprostřed a vitrážové okno s obrazem stromu Snakewood. V areálu byl skutečný strom Snakewood, který vyrostl z Isoltovy zakopané hůlky. V areálu byla také hrobka Isolta Sayrea, u hrobky byla každý rok v den výročí její smrti umístěna májová květina. Vstupní brány měly na sobě Gordický uzel.[1]