Звідки береться відповідь

Звідки береться відповідь

1. Людина просить асистента коротко переказати довідку про оренду офісу і за кілька секунд отримує три рівні речення: сторони і строк, плата 35 000 грн на місяць, пеня 0,1 % за день. Перше модель взяла з довідки, у другому сума чужа, а третього в довідці немає зовсім. З вигляду вони не різняться. Щоб знати, що перевіряти, варто простежити, звідки модель бере кожне твердження.

2. Перше джерело тверджень - текст, який модель отримує разом із запитом. Сама вона розмову не зберігає, тому продукт щоразу складає цей текст заново: свої інструкції, додану довідку, історію розмови і останнє повідомлення. Усе разом називають контекстом. У ньому тут дві суми: 30 000 грн у довідці і 35 000 грн у давнішому повідомленні про сусідній офіс.

3. З контексту модель складає відповідь не цілою, а по одному слову або його частині, щоразу продовжуючи вже написане. Для кожного наступного слова вона рахує ймовірність, тобто число від нуля до одиниці, яке показує, наскільки це слово пасує після попередніх. Після «з 1 лютого 2026 року на 12» майже вся ймовірність припадає на «місяців», бо так написано в довідці. Числа у фільмі умовні.

4. Слово модель обирає за цими ймовірностями, але з часткою випадковості, тому інколи бере не найімовірніше. Після «Плата становить» помітну ймовірність мають обидві суми з контексту: 30 000 з довідки більшу, 35 000 з розмови меншу. Цього разу модель обрала 35 000, і речення добудовується вже довкола нього. Кроку, на якому суму звірили б із довідкою, сам цей механізм не має.

5. Так у готовій відповіді поруч опиняються твердження з трьох різних джерел. Сторони і строк модель взяла з доданого матеріалу, тобто з довідки. Сума 35 000 грн прийшла з розмови: її написала сама людина, тільки про інший офіс. Пеня походить із навчання: до випуску модель навчали на величезній кількості текстів, і від них у ній лишилися передусім закономірності, які слова зазвичай ідуть за якими.

6. Третє джерело найменш помітне, і саме з нього беруться вигадки. Про пеню в довідці нічого немає, зате в договорах оренди, які траплялися моделі під час навчання, після плати зазвичай іде пеня, нерідко саме 0,1 % за день. Тому таке продовження має високу ймовірність, а слова «у довідці про це не сказано» в текстах трапляються рідко. Твердження правильної форми, але без джерела називають вигадкою, або галюцинацією.

7. За тоном вигадку від перевіреного твердження не відрізнити. Модель має внутрішні ознаки того, знайоме їй твердження чи ні, але вони ненадійні, і у відповіді їх не видно. Впевнений тон теж складається слово за словом як найзвичніше продовження, тому з правильністю він повʼязаний слабо. Усі три речення звучать однаково рівно, хоча довідка підтверджує лише одне.

8. Оскільки тон нічого не підказує, відповідь розкладають на окремі твердження і до кожного ставлять одне питання: де це написано в матеріалі. У цій відповіді тверджень три: хто в кого орендує і на який строк, яка плата і яка пеня. Насамперед звіряють конкретне, тобто назви, дати, суми, відсотки й цитати: вигадки трапляються там часто, а помилка коштує дорого.

9. Сама звірка проста: відповідь кладуть поруч із довідкою і для кожного твердження шукають рядок, який його підтверджує. Сторони і строк збігаються з пунктом 1. У пункті 2 плата становить 30 000 грн, а не 35 000, тож суму виправляють. Пункту про пеню в довідці немає, тому це твердження лишається без джерела і з переказу його прибирають. Довідка підтверджує одне з трьох.

10. Повторний запит такої звірки не замінює. Модель обирає слова з часткою випадковості, тому той самий запит може дати інший текст: тут у другій відповіді плата вже 30 000 грн, а пені немає. Якби відповіді збіглися, це нічого не довело б, бо повтор порівнює їх між собою, а не з довідкою. Зате розбіжність корисна як підказка: місця, де відповіді різняться, звіряють насамперед.