Jarvis navštěvoval Littlehampton Community School a Chichester College. Je držitelem národního diplomu BTEC v oboru herectví a krátce studoval na RADA. Jarvis je vášnivý fotbalista a basketbalista.
Jarvis chodil se svou kolegyní z Harryho Pottera Evannou Lynchovou, která ve filmech hraje Lunu Lovegoodovou, minimálně od dubna 2015 do konce roku 2016.