Симплициальные сети Хопфилда — Нейросеминар 2

Сети Хопфилда — это искусственные нейронные сети, которые хранят паттерны памяти в состояниях своих нейронов, выбирая рекуррентные веса связей и правила обновления таким образом, чтобы энергетический ландшафт сети формировал аттракторы вокруг этих воспоминаний. Сколько стабильных, достаточно притягательных паттернов памяти мы можем хранить в такой сети, используя $N$ нейронов? Ответ зависит от выбора весов и правила обновления. Вдохновленные связностью множеств в биологии, мы расширяем сети Хопфилда, добавляя связи множеств и встраивая эти связи в симплициальный комплекс. Симплициальные комплексы — это многомерные аналоги графов, которые естественным образом представляют собой совокупности парных и множественных отношений. Мы показываем, что наши симплициальные сети Хопфилда увеличивают емкость хранения памяти. Удивительно, но даже когда связи ограничены небольшим случайным подмножеством эквивалентного размера сети, состоящей только из пар, наши сети все равно превосходят свои парные аналоги. Такие сценарии включают нетривиальную симплициальную топологию. Мы также тестируем аналогичные современные непрерывные сети Хопфилда, предлагая потенциально перспективный путь для улучшения механизма внимания в моделях Transformer. Докладчик: Том Бернс Вы можете присоединиться к этому семинару из любой точки мира, с любого устройства, по адресу https://www.metauni.org. Приглашаются все желающие. Это видео было снято 6 апреля 2023 года в игре Rising Sea (https://www.roblox.com/games/start?placeId=8165217582&launchData=/).