Elgort se narodil 14. března 1994 v New York City v New Yorku Arthuru Elgortovi, módnímu fotografovi, který hodně pracoval pro časopis Vogue, a Grethe Barrett Holbyové, operní režisérce. Pojmenován po významném fotografovi přírody Anselu Adamsovi, má ruské židovské předky z otcovy strany a evropské předky z matčiny strany. Jako třetí ze tří dětí má Elgort dva starší sourozence: sestru Sophii, módní fotografku, a bratra Warrena, kameramana.