В центре внимания — со временем в медиальной префронтальной коре головного мозга человека формиру...

В рамках тематического доклада доктор Алон Барам представляет доклад «В медиальной префронтальной коре головного мозга человека со временем возникает абстрактная реляционная карта». Аннотация: Было выдвинуто предположение, подтвержденное эмпирически, что визуальное восприятие в мозге млекопитающих использует внутреннюю генеративную модель мира. Однако наиболее успешные модели зрения в машинном обучении сегодня являются дискриминативными, опираясь только на «кодировщик», без генеративного «декодировщика». Это поднимает вопрос о том, необходима ли генерация для устойчивого восприятия, характерного для естественного интеллекта. В данной работе мы предлагаем возможный ответ на этот вопрос, математически изучая, что необходимо для композиционной генерализации, отличительной черты устойчивости восприятия млекопитающих. В этом контексте агент должен обобщать на сцены, выходящие за пределы предметной области (OOD), состоящие из новых комбинаций известных понятий, например, объектов. При некоторых умеренных допущениях мы доказываем, что композиционное обобщение теоретически невозможно с использованием чисто дискриминативной модели, основанной только на кодировщике, и вместо этого требует обучения генеративного декодера. В частности, мы доказываем, что для широкого семейства процессов генерации данных невозможно сформулировать индуктивные смещения для кодировщика, которые обеспечивали бы композиционное обобщение. С другой стороны, теоретически и эмпирически возможно наложить на декодер индуктивные смещения таким образом, чтобы он мог корректно генерировать сцены OOD, содержащие новые комбинации концепций. В совокупности эти результаты подразумевают необходимость гибридного подхода для композиционного обобщения, где декодер используется в тандеме с кодировщиком. Мы показываем, что это достигается либо путем обучения кодировщика в автономном режиме на OOD-генерациях от декодера (воспроизведение), либо в режиме онлайн, путем итеративной адаптации представления OOD-сцен кодировщиком с использованием обратной связи декодера (поиск). Примечательно, что, хотя воспроизведение и поиск в рамках нашей теории рассматриваются как необходимые вычисления для композиционного обобщения, свидетельства этих процессов недавно были обнаружены в гиппокампальной формации. Наконец, мы эмпирически подтверждаем наши теоретические результаты на модельных изображениях. Мы хотели бы поблагодарить наших спонсоров этой конференции: XTX Markets, Google DeepMind, Context Fund, The Kavli Foundation, Wolfram Alpha, Artificial Intelligence Journal и Gatsby. 🧠 Узнайте больше о прошлых и будущих конференциях: https://www.thinkingaboutthinking.org/neuromonster