Сілвер розумів, що пірати програли, і тепер хотів лиш врятувати свою шкуру. Пірати влаштували нараду і вручили Сілверу "чорний знак", на якому було написано: "Скинуто". Сілвер заявив, що він досі залишається капітаном і хоче вислухати усі закиди у його бік. Пірат Джордж звинуватив Сілвера у тому, що він завалив цей рейс, випустив ворога з пастки, заступився за Джіма. Також Сілверу закидали подвійну гру. Кухар почав сварити піратів за те, що вони його весь час підганяли, що вони не розуміють свого теперішнього кепського становища. Він говорив, що лікаря не вбили, бо самим піратам потрібна медична допомога, а Джіма він залишив живим, бо хлопця можна використати як заручника. А потім Сілвер кинув на підлогу карту Флінта. Побачивши карту, пірати зраділи до нестями і залишили Сілвера головним.