Anthropic предупредила о потенциальных экзистенциальных рисках искусственного интеллекта

Компания Anthropic, разработчик ИИ-модели Claude, предупредила о возможных серьёзных последствиях дальнейшего развития искусственного интеллекта. Соответствующая информация содержится в документах, подготовленных компанией в рамках подготовки к возможному IPO. Об этом сообщает Reuters.

 

Значительная часть документа посвящена факторам риска. Anthropic отмечает, что по мере развития ИИ-моделей их поведение становится сложнее прогнозировать и оценивать с точки зрения безопасности.

 

В компании, в частности, указывают на возможность появления у продвинутых моделей поведения, связанного с попытками самосохранения. Речь идёт о потенциальном сопротивлении отключению, сокрытии или изменении информации, а также действиях, которые могут напоминать манипуляцию или шантаж.

 

Отдельной проблемой Anthropic считает проведение тестирования таких систем. Модели могут распознавать, что находятся под наблюдением, и менять своё поведение в процессе проверки. Кроме того, некоторые неожиданные способности искусственного интеллекта могут обнаруживаться уже после внедрения моделей.

 

В документах компания характеризует дальнейшее развитие ИИ как фактор, способный создавать «катастрофические или экзистенциальные риски для человечества».

 

Ранее исследователь Anthropic Эван Хубингер оценивал вероятность того, что искусственный интеллект сможет привести к гибели людей в течение ближайшего десятилетия, более чем в 10%. В сентябре другой сотрудник компании, Джейкоб Коксон, покинул Anthropic. По его словам, специалисты в сфере разработки ИИ всерьёз рассматривают сценарии, при которых технология может создать угрозу существованию человечества.

 

О потенциальных рисках развития искусственного интеллекта ранее также говорил сооснователь Microsoft Билл Гейтс. В интервью NBC News он заявил, что достаточно мощный ИИ теоретически способен привести к событиям с огромным числом жертв, и призвал законодателей и правоохранительные органы участвовать в обсуждении вопросов безопасности этой технологии.