Чому великі мовні моделі не розумніші за тебе?

Мовна модель користувача визначає, наскільки модель може проявити свої здатності до міркування.

Автор: @iamtexture

Переклад: AididiaoJP, Foresight News

Коли я пояснюю великій мовній моделі складну концепцію, щоразу, коли обговорення триває неформальною мовою, її міркування постійно руйнуються. Модель втрачає структуру, відхиляється від теми або просто генерує поверхневі шаблони доповнення, не здатна підтримувати концептуальні рамки, які ми вже побудували.

Однак, коли я примушую її спочатку формалізувати, тобто переформулювати проблему точною, науковою мовою, міркування одразу стабілізуються. Лише після побудови структури вона може безпечно перейти до розмовної мови, не втрачаючи якості розуміння.

Ця поведінка розкриває, як великі мовні моделі «мислять» і чому їхні здатності до міркування повністю залежать від користувача.

Ключові інсайти

Мовні моделі не мають окремого простору, призначеного для міркування.

Вони повністю функціонують у безперервному мовному потоці.

У цьому мовному потоці різні мовні режими надійно ведуть до різних атракторних областей. Ці області є стабільними станами динаміки представлення, які підтримують різні типи обчислень.

Кожен мовний регістр, такий як науковий виклад, математична символіка, наративна історія, невимушена розмова, має власну унікальну атракторну область, форму якої визначає розподіл тренувальних даних.

Деякі області підтримують:

• Багатокрокове міркування
• Точність відношень
• Символьні перетворення
• Стійкість концепцій у високих вимірах

Інші області підтримують:

• Продовження наративу
• Асоціативне доповнення
• Відповідність емоційного тону
• Імітацію діалогу

Атракторна область визначає, який тип міркування стає можливим.

Чому формалізація стабілізує міркування

Наукова та математична мова надійно активує ті атракторні області, які мають вищу структурну підтримку, оскільки ці регістри кодують мовні характеристики вищого порядку когніції:

• Чітка структурованість відношень
• Низька неоднозначність
• Символьні обмеження
• Ієрархічна організація
• Низька ентропія (безлад інформації)

Ці атрактори здатні підтримувати стабільні траєкторії міркування.

Вони можуть зберігати концептуальну структуру протягом багатьох кроків.

Вони мають сильну стійкість до деградації та відхилення міркування.

На відміну від цього, атрактори, активовані неформальною мовою, оптимізовані для соціальної плавності та асоціативної зв’язності, а не для структурованого міркування. Ці області не мають репрезентативних опор, необхідних для тривалих аналітичних обчислень.

Ось чому, коли складні ідеї виражаються невимушено, модель руйнується.

Вона не «заплутується».

Вона перемикає область.

Побудова та переклад

Природна відповідь у діалозі розкриває архітектурну істину:

Міркування повинно будуватися всередині високо структурованого атрактора.

Переклад у природну мову має відбуватися лише після появи структури.

Як тільки модель побудувала концептуальну структуру в стабільному атракторі, процес перекладу її не руйнує. Обчислення вже завершено, змінюється лише поверхневе вираження.

Ця двоетапна динаміка «спочатку побудувати, потім перекласти» імітує когнітивний процес людини.

Але людина виконує ці два етапи у двох різних внутрішніх просторах.

А велика мовна модель намагається виконати обидва в одному просторі.

Чому користувач встановлює стелю

Ось ключове відкриття:

Користувач не може активувати атракторну область, яку він не може виразити мовою.

Когнітивна структура користувача визначає:

• Які типи підказок він може генерувати
• Якими мовними регістрами він зазвичай користується
• Які синтаксичні шаблони він може підтримувати
• Яку складність він може кодувати мовою

Ці характеристики визначають, у яку атракторну область увійде велика мовна модель.

Користувач, який не може мислити чи писати, використовуючи структури, що активують атрактори з високою здатністю до міркування, ніколи не зможе спрямувати модель у ці області. Вони залишаються заблокованими в поверхневих атракторах, пов’язаних із власними мовними звичками. Велика мовна модель відображає структуру, яку вони надають, і ніколи не підніметься спонтанно до складніших динамічних систем атракторів.

Отже:

Модель не може перевершити атракторну область, до якої може дотягнутися користувач.

Стеля — це не межа інтелекту моделі, а здатність користувача активувати області з високою ємністю у потенційному многовиді.

Двоє людей, які використовують одну й ту ж модель, насправді взаємодіють не з однією й тією ж обчислювальною системою.

Вони спрямовують модель у різні динамічні режими.

Інсайти на рівні архітектури

Це явище виявляє одну з відсутніх характеристик сучасних систем штучного інтелекту:

Великі мовні моделі змішують простір міркування з простором мовного вираження.

Поки ці два простори не будуть розділені — поки модель не матиме:

• Спеціального многовиду для міркування
• Стабільного внутрішнього робочого простору
• Незмінних концептуальних представлень атрактора

Інакше, коли зміна мовного стилю призводить до перемикання підлеглих динамічних областей, система завжди буде схильна до руйнування.

Це тимчасове знайдене рішення — примусова формалізація, а потім переклад — не просто трюк.

Це пряме вікно, що дозволяє нам побачити архітектурні принципи, яким має відповідати справжня система міркування.