Исследователь из Anthropic уволился из-за страха перед ИИ

Исследователь компании Anthropic Джейкоб Коксон уволился и покинул отрасль искусственного интеллекта из-за опасений, что разработчики слишком быстро создают системы, над которыми люди могут утратить контроль. Учёный заявил, что ИИ потенциально способен представлять смертельную угрозу для человечества уже к концу десятилетия.

Об этом пишет The Wall Street Journal, передает Новини.LIVE.

Почему исследователь из Anthropic покинул индустрию ИИ

27-летний Джейкоб Коксон специализировался на предварительном обучении моделей искусственного интеллекта. Последние три года он работал над такими системами сначала в OpenAI, а затем в Anthropic.

После увольнения Коксон заявил, что ведущие компании фактически соревнуются в создании искусственного интеллекта, способного самостоятельно совершенствоваться. По его мнению, конкуренция заставляет разработчиков пренебрегать потенциальными рисками.

"Ни одна из компаний не действует ответственно. Они мчатся прямо к самосовершенствующемуся суперинтеллекту и играют нашими жизнями", — написал исследователь.

Коксон также утверждает, что сотрудники ведущих ИИ-компаний осознают гораздо более серьезные риски, чем это следует из их публичных заявлений.

"Люди, которые создают ИИ, искренне считают, что он может убить нас всех до конца десятилетия. Это не маркетинговый трюк", — заявил он.

Какие риски ИИ называет исследователь

По словам Коксона, будущие системы искусственного интеллекта могут превзойти людей во многих сферах. Среди потенциальных угроз он называет способность ИИ самостоятельно осуществлять кибератаки, ускорять научные разработки и получать доступ к реальным ресурсам и влиянию.

Особое беспокойство исследователя связано с самосовершенствованием моделей. Если система сможет самостоятельно улучшать собственные возможности, контроль человека над ней может стать значительно сложнее.

В то же время Коксон по-разному оценивает ситуацию в OpenAI и Anthropic. По его словам, в OpenAI часть сотрудников недостаточно осознает масштаб потенциальных последствий, тогда как в Anthropic риски понимают лучше. Тем не менее компания, по его мнению, продолжает гонку из-за опасений, что конкурент первым создаст мощный ИИ.

В Anthropic оценили риск гибели человечества

Опасения Коксона публично поддержал Эван Губингер, руководитель направления Alignment Science в Anthropic, который занимается вопросами согласования поведения ИИ с человеческими целями.

Он заявил, что лично оценивает вероятность того, что искусственный интеллект может привести к гибели человечества в течение следующего десятилетия, более чем в 10%.

Губингер уточнил, что нынешние модели представляют относительно низкий риск. Его главная обеспокоенность связана с появлением сверхинтеллекта, который сможет рекурсивно совершенствовать себя.

Коксон считает, что предотвратить опасную гонку между разработчиками могут координация ведущих лабораторий, государственное регулирование или временное ограничение дальнейшего наращивания возможностей самых мощных моделей.

Ранее Новини.LIVE писали, что компания OpenAI с помощью искусственного интеллекта решила одну из шести "Задач тысячелетия" — проблему Навье-Стокса. Над математической задачей работали тысячи автономных ИИ-агентов, а стоимость вычислений достигла нескольких миллионов долларов.

Также Новини.LIVE сообщали, что ChatGPT получил функцию родительского контроля для подростков. Родители могут привязать свою учетную запись к аккаунту ребенка и ограничивать доступ к контенту для взрослых, голосовой режим, генерацию изображений, доступ к сети, а также устанавливать «тихие часы».