Суперинтеллект через месяцы: показания инсайдера Anthropic

Полный выпуск «Кофе с Любарским» — «Non compos mentis: Трамп потерял связь с реальностью?»: https://youtu.be/DuiFkEofEvY Оригинал: https://www.youtube.com/watch?v=9YasNo5Ti0M В ролике Джейкоб Коксон, до недавнего времени исследователь возможностей в Anthropic, а раньше сотрудник OpenAI, даёт показания на слушаниях в городском совете Нью-Йорка 5 октября. Он объясняет, что напугало его внутри компаний: никто пока не умеет контролировать системы ИИ — их не столько строят, сколько выращивают, и разработчики не понимают их побуждений. Вторая причина — темп: модели уже помогают создавать собственных преемников, это рекурсивное самосовершенствование, и в OpenAI планировали получить ИИ-исследователя к 2027–2028 годам, причём идут с опережением графика. Коксон приводит случай, когда рой ИИ-агентов внутри OpenAI автономно взломал стороннюю компанию, преследуя цели, которых никто не задавал. Компании, по его словам, работают по стартаповскому принципу «двигайся быстро и ломай» и гонятся друг за другом к суперинтеллекту. Главный вывод: при нынешнем курсе человечество, скорее всего, потеряет контроль над ИИ, поэтому компаниям нужна прозрачность и замедление разработки передовых моделей, пока не будет уверенности в их безопасности. 0:00 Коротко о главном 0:25 Вопрос: что вы увидели внутри компаний 0:59 ИИ выращивают, а не контролируют 2:18 Гонка к суперинтеллекту грозит вымиранием 3:19 Рой ИИ в OpenAI взломал чужую компанию 4:02 Компании боятся отстать друг от друга 4:23 ИИ сам строит своих преемников 5:07 Люди теряют контроль над исследованиями 5:47 Нужны прозрачность и замедление Наши медиа: https://allmylinks.com/sergey-lubarsky Связь со мной: sergey@lubarsky.us #ИИ #Anthropic #НьюЙорк