Почему генерации слов недостаточно для настоящего ИИ?
Это прямое продолжение серии разборов архитектуры трансформеров. Если вы еще не смотрели предыдущую часть, начните с нее: Как ИИ учится на ошибках: математика предсказания слов https://youtu.be/JFu27XUfNeA В этом выпуске двигаемся дальше по нашему конспекту (блок 9) и разбираем критическое ограничение: почему подход «предложение как простая последовательность слов» неизбежно заходит в тупик при росте длины фразы, как затухает разница вероятностей в скрытых состояниях и к какому диалектическому переходу это приводит архитектуру LLM. * * * 00:00 — Введение: логика развития модели трансформеров 01:03 — Блок 9: почему последовательности слов недостаточно 02:22 — Генерация токенов и скрытые состояния на практике 03:35 — Сравнение векторов и расчет вероятностей 04:20 — Сохраняет ли скрытое состояние структуру предложения? 06:02 — Численный эксперимент: почему теряется контекст 07:12 — Падение разницы вероятностей: затухание информации 08:17 — Главный вывод: почему скрытое состояние не справляется 09:18 — Диалектический переход: от части к целому смыслу * * * LinkedIn https://www.linkedin.com/in/ruslan-nazarov-papanda/ * * * EdTech-программа papanda: 🧑💻https://papanda.kz/ Книги с диалектикой: 📕Понять Искусственный Интеллект https://ruslan-nazarov.github.io/handbook_ai/ 📗Как выучить много иностранных языков https://ruslan-nazarov.github.io/handbook_Languages/
Название:
Почему генерации слов недостаточно для настоящего ИИ?
Категория:
Разное