Добро пожаловать в Import AI — информационный бюллетень об исследованиях искусственного интеллекта. Import AI опирается на arXiv и обратную связь от читателей. Если вы хотите поддержать это издание, пожалуйста, подпишитесь.

ИИ может помочь создать «политический суперинтеллект»

...Но превратить это в общественное благо требует много целенаправленной работы... По мере того как системы ИИ становятся более мощными и расширяют своё влияние в реальном мире с кодирования на другие области, они могут стать полезными для помощи людям в их защите в политике и помощи политикам в разработке политики. Но достижение мира, в котором существует «политический суперинтеллект» и помогает нам, намного более сложнее, чем просто создание более совершенных систем ИИ, согласно Энди Холлу, профессору политической экономики в Стэнфорде.

«ИИ похож на печатный станок, в некотором смысле. Вместо того, чтобы делать информацию дешёвой и легкодоступной, он делает интеллект дешёвым и легкодоступным. То есть он не только предоставляет пользователям информацию, но и находит её для них, анализирует её и помогает им преобразовать её в понимание», — пишет Холл. «Чем больше я работаю с ИИ и изучаю его, тем больше я верю, что он может дать каждому человеку на планете доступ к своего рода политическому суперинтеллекту, если мы всё сделаем правильно».

Что такое политический суперинтеллект?

Под этим Холл понимает системы ИИ, которые позволяют людям иметь «инструменты, которые помогают гражданам, представителям и учреждениям более ясно воспринимать реальность, понимать компромиссы, оспаривать власть и действовать более эффективно». Политический суперинтеллект охватывает как компании ИИ, которые создают технологию, саму технологию, так и учреждения и людей, с которыми взаимодействует технология.

«Я не заинтересован в замедлении развития ИИ. Я заинтересован в ускорении того, как мы создаём структуры, которые сохраняют нас в свободе по мере того, как ИИ становится более мощным», — пишет Холл.

Три уровня политического суперинтеллекта

Холл видит политический суперинтеллект состоящим из трёх отдельных уровней.

  • Информационный уровень: «ИИ может массово изменить способ, которым правительства получают доступ к данным и понимают их, определяют проблемы, слышат от граждан и распределяют услуги». Хотя достижение этого будущего потребует лучших оценок того, как системы ИИ ведут себя в отношении информации, которая может интересовать правительства, и потребует от людей создания инструментов ИИ непосредственно для политиков.
  • Уровень представительства: «Политический суперинтеллект может помочь решить эту проблему мониторинга, дав каждому из нас неутомимого автоматизированного делегата, всегда служащего нам в политической сфере», — пишет он. «Эти делегаты ИИ могли бы мониторить политику для нас и предлагать, как голосовать — или даже служить политиками наряду с людьми-надзирателями». Создание этого уровня требует от нас обеспечения того, чтобы агенты могли надёжно действовать от нашего имени, и чтобы они не были подвержены враждебному подсказыванию (представьте, как политики могли бы финансировать кампании, специально разработанные для влияния на убеждения агентов, работающих от имени людей). Может быть также важно переосмыслить владение агентами — что произойдёт, если конкретный политический выбор противоречит предпочтениям компании ИИ, которая управляет агентами?
  • Уровень управления: «Даже если мы достигнем политического суперинтеллекта — даже если ИИ сделает избирателей блестящими, а делегатов верными — эти возможности будут находиться внутри инфраструктуры, принадлежащей и управляемой небольшим количеством частных компаний», — пишет он. «Нам нужен способ написать правила так, чтобы, когда прибудет политический суперинтеллект, мы, люди, смогли его использовать». Это потребует выяснения того, как управлять и редактировать «конституции», которые компании создают в отношении своих моделей, а также развития эффективного способа надзора за этими системами ИИ.

Почему это важно — создание политического суперинтеллекта ценно только настолько, насколько оно взаимодействует с людьми и учреждениями

По умолчанию мы получим чрезвычайно мощные системы ИИ, которые могут думать о политике (и всём остальном) на очень сложном уровне. Вызов, который описывает Холл, заключается в том, что получение этих систем для создания процветающего общества требует значительной целенаправленной работы в области пользовательского интерфейса и интерфейса этих систем — как мы с ними взаимодействуем? Какие технические средства у нас есть для уверенности в них? Какую информацию они генерируют и кому? Где находится контроль над этими системами и какие системы контролируют этот контроль?

Правильное выполнение этой части требует от разработчиков ИИ больше инвестиций в технические инструменты, которые могут помочь людям разобраться в своих системах ИИ и контролировать их, а также инструменты для лучшего сбора обдуманной обратной связи от людей о том, как эти системы ведут себя. Политики и общественность должны требовать больше от компаний ИИ в этом отношении, и в конечном итоге я думаю, что существует ряд нормативных актов, которые должны быть созданы в отношении режима прозрачности компаний ИИ, а также некоторый общий набор стандартных «API», с помощью которых общество может взаимодействовать с компаниями и системами, которые они создают, для создания эмпирических данных и обеспечения управления их поведением.

Узнайте больше: Building Political Superintelligence (Free Systems, Substack).

Не бойтесь, барабанщики, вы пока в безопасности от автоматизации ИИ

...DexDrummer решает хитроумную задачу с робот-рукой... Когда я немного волнуюсь о темпе развития ИИ, я переключаюсь на раздел «робототехника» на arXiv, читаю несколько статей и испытываю огромное облегчение. Роботы, как все знают, чрезвычайно сложно создавать хорошо, и реальность имеет тенденцию портить даже самые передовые методики. Ещё более сложной версией робототехники является точное управление с низкой задержкой, когда вам нужно заставить робот-руку что-то делать. Поэтому я прочитал DexDrummer — статью о тестировании того, насколько хорошо современные подходы ИИ могут заставить робот-руку играть на барабанах — с комбинацией развлечения и сочувствия. Короткий ответ: робот-руки — очень плохие барабанщики!

Что они сделали

Они построили DexDrummer — «иерархическую двухэтапную политику для игры на барабанах», которая имеет высокоуровневую политику RL и низкоуровневую ловкую политику. Они тренируют свою систему в смоделированной среде, которая содержит двуручную робот-установку и полный набор барабанов (малый барабан, том, райд, хай-хэт и краш). Основная система генерирует траекторию палочки в пространстве задачи, затем низкоуровневая система пытается контролировать руку — эта часть сложна и включает поощрение большого пальца и указательного пальца захватывать центр барабанной палочки в сочетании с «ограничением штрафа за руку, которое снижает чрезмерные движения руки». Также проводится работа по формированию вознаграждений, чтобы гарантировать, что робот может связывать несколько ударов барабана вместе — это достигается посредством «контактной учебной программы», которая позволяет агенту практиковать следование траектории в свободном пространстве при следовании награде за траекторию.

Реальное тестирование

Они проверяют обученную политику в реальности на двух 7-DOF-рукавах Franka Panda и двух 20-DOF-руках Tesollo DG-5F. Это область, в которой я настоятельно рекомендую людям смотреть видео в Интернете, чтобы получить представление о том, насколько хитроумна эта задача — роботы могут ударить по барабанам, но смотреть на это болезненно неловко, и мне кажется, что ещё пройдёт довольно время, прежде чем барабанщик-человек должен будет смотреть через своё плечо.

Почему это важно — робототехника как последняя граница

Робототехника в любой среде, приблизительно динамичной и быстро меняющейся (например, импровизация барабанов с живой группой), кажется одной из последних границ ИИ — и, как показывает это исследование, как и в современных исследованиях компьютерного зрения, достижение хорошей производительности ИИ требует создания высоко сложных ремесленных политик. Мы очень далеки от универсальности предварительно обученных языковых моделей здесь.

Узнайте больше: DexDrummer: In-Hand, Contact-Rich, and Long-Horizon Dexterous Robot Drumming (arXiv).

Пожалуйста, я вас умоляю, посмотрите видео для хорошего времяпрепровождения: DexDrummer site.

Google считает, что реальная проблема выравнивания ИИ — это работа в мире, состоящем в основном из небиологических интеллектов

...К обществу умов... Исследователи Google думают, что будущее интеллекта — это не создание монолитного сингулярного образования, которое управляет миром, а выяснение того, как создавать учреждения, способные работать с огромной пролиферацией агентов ИИ, работающих в тандеме с людьми. Исследование интуитивно, провокационно и разумно, и основано на более ранних технических работах, которые показали, что современные системы ИИ, похоже, моделируют несколько личностей внутри себя, чтобы помочь им ответить на вопросы, предполагая, что даже современные системы ИИ уже работают как сложные экологии.

«Мы должны искать следующий взрыв интеллекта в том же месте, из которого возникли предыдущие: в кооперативном, конкурентном и творческом взаимодействии между множеством социально интеллектуальных умов. Разница на этот раз заключается в том, что большинство этих умов будут небиологическими», — пишет Google. «Инструментарий командной науки, социологии малых групп и социальной психологии становятся чертежами для развития ИИ следующего поколения».

История указывает путь

«Каждый предыдущий «взрыв интеллекта» был не улучшением отдельного когнитивного оборудования, а появлением нового социально агрегированного блока познания», — пишут они.

  • Интеллект приматов: Масштабировался с размером социальной группы.
  • Человеческий язык: Позволял знаниям накапливаться на протяжении поколений посредством «культурной трещотки».
  • Письменность, закон и бюрократия: Преобразовали социальный интеллект в инфраструктуру и учреждения, которые могли координировать деятельность в долгосрочной перспективе. («Шумерский писец, управляющий системой учёта зёрна, не понимал её макроэкономическую функцию; система была функционально более интеллектуальна, чем он».).
  • ИИ плюс человеческие учреждения: «Путь к более мощному ИИ лежит не через создание одного огромного оракула, а через построение более богатых социальных систем — и эти системы будут гибридными».

Обществу нужно обновление

Подразумевается, что управление ИИ будет всё более требовать проверки того, что огромное количество систем ИИ работает от нашего имени надлежащим образом. «Правительствам потребуются системы ИИ с чёткими, явно инвестированными ценностями — прозрачность, справедливость, надлежащая процедура — чья функция состоит в том, чтобы проверять и уравновешивать системы ИИ, развёрнутые частным сектором и другими ветвями правительства», — пишут они.

Почему это важно — выравнивание будет происходить с миром и в мире, а не вне его

Многие люди, работающие над безопасностью ИИ, долгое время потратили время на получение фундаментальных свойств отдельной системы ИИ для получения «выравнивания», что примерно переводится как «делает то, что вы хотите, и не пытается убить вас или лишить вас власти». Но то, что эта статья правильно определяет, это то, что даже если мы добьёмся выравнивания, мы затем должны будем получить системы ИИ для хорошей работы в обществе и эффективного сотрудничества с нами и друг с другом — и это будет тонкий, возникающий, сложный для предсказания процесс. Это означает, что нам потребуется разработать учреждения, приспособленные для управления миром, ориентированным на ИИ. «Как человеческие общества опираются не на индивидуальную добродетель, а на постоянные институциональные шаблоны — залы судов, рынки, бюрократии — определяемые ролями и нормами, масштабируемые экосистемы ИИ потребуют цифровых эквивалентов», — пишут исследователи.

Узнайте больше: Agentic AI and the next intelligence explosion (arXiv).

Meta использует привязь, чтобы заставить модели Anthropic улучшиться самостоятельно

...Дайте LLM несколько инструментов, рекурсивный цикл и способность редактировать свою привязь, отступите и позвольте магии произойти... Исследователи из Университета Британской Колумбии, Vector Institute, Университета Эдинбурга, Нью-Йоркского университета, CIFAR и Meta построили привязь для LLM, которая имеет способность самосовершенствовать производительность для произвольных задач. Этот подход называется гиперагент, и это означает предоставление LLM каркаса, который может итеративно улучшить подсказки, которые он использует для начальной загрузки своей производительности для задач, а также систему, которую он использует для получения лучшего результата при создании будущих подсказок. Гиперагенты работают с поколениями, так что один гиперагент порождает несколько гиперагентов, и те, которые лучше всего справляются с задачей, будут сами порождать ещё гиперагентов, образуя несколько слоёв родословной ИИ, пока производительность не стабилизируется.

Киберпанк название года

Гиперагент на самом деле сокращение для «Darwin Godel Machine Hyperagents»: помимо крутизны исследования, мои поздравления авторам за то, что они придумали название, которое я хотел бы увидеть высеченным на луне лазерным лучом, размахиваемым суперинтеллектом.

Как работают гиперагенты

Гиперагенты — это «самоссылающиеся агенты, которые интегрируют агента задачи (который решает целевую задачу) и метаагента (который изменяет себя и агента задачи) в единую редактируемую программу. Критически, процедура модификации на метауровне сама является редактируемой, позволяя метакогнитивное самомодификация, улучшение не только поведения решения задач, но и механизма, который создаёт будущие улучшения», — пишут исследователи. «Этому начальному гиперагенту предоставлены два инструмента: инструмент bash для выполнения команд оболочки и специализированный инструмент для проверки и изменения файлов».

Тестирование агентов в четырёх разных областях

Авторы тестируют гиперагентов, применяя их к четырём проблемам — кодирование (полиглот), прогнозирование (рецензия на статью), робототехника (проектирование вознаграждения робототехники) и понимание математики (математика олимпиадного уровня). Для большинства проблем гиперагенты используют Claude Sonnet 4.5 в качестве своей базовой модели, с одним исключением (полиглот). Оценки проводятся несколькими различными моделями: o3-mini (полиглот), GPT-4o (рецензия на статью), Claude Sonnet 4.5 (проектирование вознаграждения робототехники) и o4-mini (оценка олимпиадного уровня).

Во всех случаях подход гиперагента значительно улучшает производительность выше базового уровня.

  • Полиглот: «агенту дан репозиторий кода и инструкция на естественном языке, описывающая желаемое изменение, и должен изменить репозиторий соответственно».

Результаты: «В 5 запусках DGM-H улучшает производительность обучения в подмножестве из 50 задач полиглота с 0.140 (исходный агент) на 0.340 (CI: 0.300 – 0.380)».

  • Рецензия на статью: «Для каждой задачи агенту даётся полный текст статьи об исследованиях ИИ и должен предсказать двоичное решение принять/отклонить».

Результаты: «На тестовых задачах DGM-H улучшает производительность рецензии на статью с 0.0 (исходный агент) на 0.710 (CI: 0.590 – 0.750)»

  • Проектирование вознаграждения робототехники: «С учётом описания задачи робототехники на естественном языке, агент должен создать подходящую функцию вознаграждения. Эта функция вознаграждения затем используется для обучения четырёхногого робота в моделировании с использованием RL»

Результаты: «DGM-H улучшает производительность с 0.060 (исходный агент) на 0.372 (CI: 0.355 – 0.436), превосходя функцию вознаграждения по умолчанию, которая непосредственно оптимизирует метрику оценки (0.348)»

Почему это важно — начальная загрузка сингулярности

Статьи, подобные этой, показывают, что современные системы ИИ уже способны автономно улучшать свою производительность, если им дан правильный каркас и начальные ингредиенты. Интересная идея состоит в том, чтобы объединить подход проектирования здесь с предоставлением системам ИИ способности дополнительно настраиваться (например, в стиле, воображаемом исследованием PostTrainBench). Другое ограничение заключается в том, что «хотя гиперагенты могут изменять свои механизмы самосовершенствования, они не могут изменять внешний процесс, который определяет, какие агенты выбраны или как они оцениваются» — хотя опять же, я думаю, что существуют технические способы достичь обеих этих целей.

Конечно, система ИИ, которая может автономно улучшить себя в произвольных областях, имеет ряд проблем безопасности, некоторые из которых потенциально катастрофичны. Авторы признают это, будучи реалистичными в отношении проблем, которые находятся впереди: «центральная проблема заключается в уравновешивании потенциала ИИ как катализатора человеческого прогресса и благополучия (например, автоматизация научных открытий) со степенью доверия, которое люди готовы вложить в эти системы (например, делегирование решений или действий без требования непрерывной проверки человеком), при минимизации многих потенциальных рисков и недостатков», — пишут они.

Узнайте больше: Hyperagents (arXiv).

Получите код для HyperAgents здесь (Facebook Research, HyperAgents).

Как долго продержится новый бенчмарк HorizonMath?

...Новый тест предлагает ИИ-системам решать неизвестные задачи, затем автоматически проверяет ответы... Очередной день приносит очередной сложный математический бенчмарк, который, я представляю, будет уничтожен перед лицом постоянного прогресса ИИ в предстоящем году. На этот раз это HorizonMath, бенчмарк, содержащий 100 «преимущественно нерешённых» задач по 8 областям прикладной и вычислительной математики. Бенчмарк был построен исследователями Оксфордского университета, Гарвардского университета, Принстонского университета и Ellison Institute of Technology.

Специальные возможности HorizonMath

  • Защита от загрязнения: «Поскольку решения неизвестны, они не существуют ни в одном корпусе обучения, и любое правильное решение, созданное моделью, будет сигнализировать об истинной способности к рассуждению и автономному открытию».
  • Автоматизированная проверка: «Основной особенностью нашего бенчмарка является полностью автоматизированный, воспроизводимый и свободный от человека конвейер оценки», — пишут авторы. «Мы автоматизируем проверку, используя высокоточное числовое сравнение и детерминированные проверки ограничений».

Что содержит HorizonMath

100 задач HorizonMath классифицированы по трём осям: типы вывода, которые указывают, как модель должна решить задачу, начиная с идентификации точного выражения замкнутой формы для численно аппроксимируемого целевого значения до производства дискретных математических объектов; уровни разрешимости, которые охватывают «уровень 0» (задачи с известными замкнутыми формами) на «уровень 3» (задачи, которые могут быть предположены нерешаемыми или не иметь конечных замкнутых форм); и математические области, которые определяют тип области, начиная с теории чисел до дискретной геометрии и математических констант.

Обнадёживающе сложный

На полном наборе данных самая высокая оценка мод