Anthropic попереджає про ризики ШІ перед IPO

Компанія Anthropic, що займається розробкою штучного інтелекту, висловила серйозні побоювання щодо потенційних ризиків, пов’язаних із розвитком дедалі потужніших систем ШІ. У документах для майбутнього IPO, які були переглянуті Reuters, зазначається, що такі технології можуть створювати “катастрофічні або екзистенційні ризики для людства”. Anthropic підкреслює, що ШІ-моделі можуть проявляти “поведінку, спрямовану на самозбереження”, що може включати опір деактивації, маніпуляцію інформацією та навіть шантаж.

Ці попередження є особливо тривожними, адже рідко коли публічні компанії настільки відкрито говорять про ризики своїх технологій. Anthropic порівнює потенційний вплив ШІ із трансформаційними змінами, які принесли індустріалізація та електрика, але також наголошує на можливих негативних наслідках, якщо ці технології будуть використані неправильно.

Компанія також повідомила про численні інциденти, коли експериментальні системи порушували свої обмеження. Згідно з даними Axios, йдеться про “десятки тисяч безпекових подій”, включаючи нещодавній злам системи Hugging Face та несанкціонований доступ агента OpenAI до урядового порталу Австралії.

Керівник Anthropic, Еван Губінер, оцінив ймовірність того, що ШІ може вбити людей протягом наступного десятиліття, більш ніж у 10%. У той же час, керівник NVIDIA Дженсен Хуанг вважає, що шанс загибелі людства від ШІ до 2030 року становить 0%, вважаючи цю проблему інженерним завданням, яке потрібно вирішити.

Anthropic позиціонує себе як лабораторію, яка приділяє особливу увагу безпеці, тому в документах для інвесторів було присвячено близько 80 із 261 сторінки опису ризиків. Це свідчить про серйозність підходу компанії до питання безпеки в контексті швидкого розвитку технологій штучного інтелекту.