Гаррі жив з рідною тіткою, її чоловіком і їхнім сином Дадлі. Дурслі ставилися до Гаррі погано, хлопчик жив у комірчині під сходами. Родичі ніколи не святкували його дня народження, усю свою увагу приділяли Дадлі, який полюбляв штурхати і ображати Гаррі. Коли Дадлі щороку на день народження батьки цілісінький день водили по розважальних парках і кінотеатрах, Гаррі залишався зі старою сусідкою. Якщо з Гаррі ставалися якісь дивні речі, його замикали в коморі. Йому купляли все найдешевше, він доношував старий одяг Дадлі. Хлопчик навіть не знав правди про своїх батьків.