Обязательный «выключатель смерти» для ИИ: мнение сооснователя Anthropic

Сооснователь Anthropic, одной из крупнейших компаний в сфере ИИ, заявил, что для фирм может потребоваться обязательное наличие «выключателя смерти» искусственного интеллекта, проверяемого независимой стороной.

Джек Кларк, один из семи основателей Anthropic, считает: если ИИ-программы станут слишком опасными, то возможность их полного отключения — это вопрос, по которому общество, возможно, захочет принять правила.

Кларк отметил: в большинстве лабораторий, включая Anthropic, есть способы «отключить систему», но законодатели, вероятно, потребуют их обязательного внедрения.

Быстрое развитие ИИ и опасения по поводу угроз, которые технология несёт человечеству, оказались в центре внимания после серии предупреждений от руководителей и сотрудников ИИ-компаний.

Некоторые публично заявили, что бесконтрольное развитие технологии может привести к гибели всего человечества.

Глава Anthropic Дарио Амодей недавно призвал замедлить темпы развития ИИ и ужесточить контроль, как компания делала и ранее. При этом некоторые поставили под сомнение мотивы такого призыва.

Амодей не уточнил, как именно замедлить разработку ИИ, заявив, что любые меры должны приниматься «без ущерба для коммерческих преимуществ».

Кларк сообщил, что детали требований к «выключателю смерти» и его проверке должны обсуждаться в рамках «более широкого политического диалога» по вопросам ИИ.

Он задался вопросом: «Следует ли обязывать компании иметь «выключатель смерти»? Может ли этот выключатель быть проверен независимой стороной?»

«Полагаю, это именно то, что общество захочет узнать и, возможно, захочет регулировать», — добавил он.

Anthropic, основанная в 2021 году бывшими сотрудниками конкурирующей OpenAI, находится в центре дискуссий о безопасности ИИ.

На прошлой неделе вирусным стал пост исследователя ИИ, покинувшего Anthropic из-за опасений, что ИИ способен уничтожить человечество.

В ответ на это учёный Anthropic Эван Хубингер заявил, что лично он оценивает вероятность вымирания человечества от ИИ как «более 10% в течение следующего десятилетия».

Компьютерный учёный и лауреат Нобелевской премии Джеффри Хинтон, известный как «крёстный отец ИИ», ранее сообщил, что 10-процентная вероятность уничтожения человечества ИИ «не является чем-то неразумным».

Отвечая на вопрос о своей оценке вероятности уничтожения всего человечества ИИ, Кларк сказал: «Не думаю, что эти цифры очень полезны». Он добавил, что продолжать развитие ИИ как «абсолютно нерегулируемой отрасли» — плохая идея.

«Мы играем в кости с огромными рисками, — заявил Кларк. — И суть в том, что мы должны изменить курс этой индустрии».