Учёные обнаружили поразительные параллели между тем, как большие языковые модели (LLM) и человеческий мозг обрабатывают язык, несмотря на их принципиально разные архитектуры и требования к энергии.
В совместном исследовании Google Research, Принстонского университета, Нью-Йоркского университета и Еврейского университета в Иерусалиме было установлено, что нейронная активность человеческого мозга линейно соотносится с внутренними контекстуальными векторами LLM во время естественных разговоров. Исследователи выяснили, что обе системы используют три фундаментальных вычислительных принципа: предсказывают следующие слова до их появления, сопоставляют предсказания с реальным вводом для вычисления "сюрприза" и используют контекстуальные векторы для осмысленного представления слов.
«Мы показали, что внутренние векторные представления слов, генерируемые глубокими языковыми моделями, совпадают с паттернами нейронной активности в известных областях мозга, связанных с пониманием и производством речи», — отмечают авторы исследования, опубликованного в журнале Nature Neuroscience.
Однако существуют и существенные различия. LLM способны обрабатывать сотни тысяч слов одновременно, тогда как человеческий мозг воспринимает язык последовательно, слово за словом. Более того, мозг выполняет сложные когнитивные задачи с поразительной энергоэффективностью, потребляя всего около 20 ватт, в то время как современные LLM требуют огромных энергетических затрат.
«Сети мозга достигают эффективности за счёт увеличения разнообразия типов нейронов и избирательных связей между ними в различных модулях, а не просто за счёт увеличения числа нейронов, слоёв и связей», — говорится в исследовании, опубликованном в Nature Human Behaviour.
Неожиданное открытие сделали и исследователи из BrainBench: LLM теперь превосходят экспертов-нейробиологов в прогнозировании результатов нейронаучных экспериментов. Специализированная модель BrainGPT показала точность 81% против 63% у учёных. Как и эксперты, LLM демонстрировали более высокую точность, когда были более уверены в своих прогнозах.
Эти результаты указывают на будущее, в котором вычисления, вдохновлённые мозгом, могут значительно повысить эффективность ИИ. Учёные исследуют спайковые нейронные сети (SNN), которые ближе имитируют работу биологических нейронов, что может привести к созданию энергоэффективных дронов для поисково-спасательных операций и продвинутых нейропротезов.
По мере того как LLM продолжают развиваться в сторону более мозгоподобной обработки, граница между искусственным и биологическим интеллектом становится всё более размытой, что поднимает фундаментальные вопросы о природе самого мышления.