Том мав дружину Хлою, яка була головною кухаркою у містера і місіс Шелбі. У Тома і Хлої було троє дітей: "двоє кучерявих хлопчаків з пухкими щічками та блискучими чорними оченятами", яких звали Моз і Піт, та крихітна дівчинка на ім'я Поллі, яка на початку роману лише "робила перші спроби ходити". У родині Тома панували любов, взаємоповага, щирість, дружба. Часто до них приходив панич Джордж Шелбі, який вчив Тома писати, грався із дітьми.