Жінка у Флориді затримана за загрозу стрілянини через чатбот Claude

У Флориді сталася незвичайна ситуація, коли 30-річна Карлі Мішель Геллер з міста Боніта-Спрінгс потрапила під арешт після того, як повідомила чатботу Claude про намір влаштувати стрілянину в офісі шерифа округу Лі. Цей інцидент стався 26 вересня, коли жінка написала, що планує “розстріляти” офіс. Наступного дня в її переписці з’явилося повідомлення про придбання нового пістолета, що викликало тривогу у системи безпеки чатбота.

Система безпеки Claude виявила цю переписку як потенційно небезпечну та передала її на перевірку співробітникам компанії Anthropic. Після оцінки загрози, компанія вирішила звернутися до правоохоронців, надавши їм всю необхідну інформацію про користувачку. Поліція швидко встановила особу Геллер та затримала її без опору у її домі.

Жінці висунули обвинувачення у письмовій погрозі насильством, що відповідно до законодавства Флориди є злочином другого ступеня. Судове засідання призначено на листопад, і обставини справи ще мають бути доведені у суді. Важливо зазначити, що політика конфіденційності Anthropic дозволяє компанії передавати дані правоохоронцям, якщо є обґрунтовані підстави вважати, що це необхідно для запобігання серйозній шкоді або смерті.

Цей випадок підкреслює важливість безпеки при використанні штучного інтелекту. Розмови, які позначені системами безпеки, можуть перевірятися навіть у випадках, коли користувач заборонив використовувати свої дані для навчання моделей. Інші розробники чатботів також переглядають свої правила у зв’язку з подібними інцидентами, зокрема OpenAI, яка пообіцяла повідомляти поліцію про загрозливі розмови з ChatGPT.