Armand se pravděpodobně narodil někdy koncem 10. nebo začátkem 11. století ve Francii. Do Británie přišel spolu s normanskou invazí a pravděpodobně někdy v této době získal přátelství Viléma Dobyvatele.
Někdy poté, co byl Vilém I. v roce 1066 jmenován anglickým králem, poskytoval Armand králi různé služby. I když přesné detaily těchto služeb nejsou známy, věřilo se, že jsou pochybné a magické povahy. Výměnou za tyto služby poskytl král Vilém Armandovi prvotřídní kus půdy ve Wiltshiru a majetek zabavil bývalým majitelům půdy.
Tento kus majetku se měl dále stát Malfoyovým sídlem a měl být domovem rodiny Malfoyů po dalších deset století. Později členové rodiny rozšířili panství ještě více tím, že připojili další majetek od okolních mudlů.