Жозеф був єдиною дитиною у небагатій єврейській родині Мікаеля та Леї Бернштейнів. Батько-кравець, завжди зайнятий роботою, мало приділяв уваги синові. Він шив костюми на замовлення і на продаж. Мати ж була домогосподаркою і доглядала та виховувала сина. Жозеф так говорить про неї: "Не питайте мене, якою була моя мама: хіба можна описати сонце? Мама випромінювала тепло, силу й радість. Я більше пригадую свої враження, ніж риси її обличчя. Поруч із нею я сміявся, і нічого лихого ніколи не могло зі мною статися". В умовах німецької окупації Бельгії батьки Жозефа не ходили до синагоги і не займалися релігійним вихованням сина. Хоча хлопчикові виповнилося сім років, його не ризикнули віддати до школи і не пускали гратися на вулиці, бо єврейській дитині скрізь загрожувала небезпека. Жозеф не дуже добре володів французькою мовою, бо вдома всі говорили на ідиш. Тому, коли почалася окупація, йому довелося поза домом грати роль "німої дитини". Хлопчик успішно це робив і того фатального дня, коли їхав із мамою у трамваї, але вона раптово схопила його і вискочила на наступній зупинці. Як виявилося, жінка почула у трамваї розмову німецьких солдатів про те, що у найближчі дні мають розпочатися тотальні арешти євреїв.