Модель штучного інтелекту GPT-4 Turbo створила відповіді від імені британських політиків та інших публічних осіб, які люди оцінили як більш автентичні, логічні й доречні, ніж справжні висловлювання цих людей. Про це повідомляє «Главком» з посиланням на дослідження, опубліковане в журналі PLOS One.
Як перевіряли переконливість ШІ
Науковці взяли 520 відповідей учасників популярного у Британії політичного токшоу «Question Time» і попросили GPT-4 Turbo створити нові відповіді на ті самі запитання – так, як це зробив би учасник токшоу з огляду на його біографію. Далі репрезентативна вибірка з 948 британців оцінювала відповіді за трьома критеріями: наскільки вони схожі на слова конкретної людини, наскільки логічні та доречні.
Частині учасників показували лише одну відповідь, іншим – одразу справжню й згенеровану, а ще одній групі додатково давали коротку біографію промовця. Останнє майже не вплинуло на результат: люди все одно частіше надавали перевагу відповідям GPT-4 Turbo. При цьому ніхто з респондентів не знав, що частину відповідей написала нейромережа.
Переконливо, але не завжди правдиво
Попри те, що варіанти від мовної моделі отримували вищі оцінки за майже всіма показниками, вони нерідко відрізнялися за змістом від реальних висловлювань політиків, а інколи навіть транслювали протилежну позицію. За оцінками дослідників, близько 13% згенерованих відповідей суперечили тому, що насправді казав промовець.
Найбільшу перевагу відповіді ШІ мали за зв’язністю та доречністю, тоді як за автентичністю різниця з оригіналом була меншою. Дослідження також показало: політики у 28% випадків ухилялися від прямих відповідей, тоді як штучний інтелект робив це значно рідше і майже не використовував формулювань, які б виказували особисту невпевненість – тому його відповіді звучали переконливіше.
Чому ШІ рідко визнає невпевненість
Ця схильність не унікальна для GPT-4 Turbo. За дослідженням OpenAI, яке розібрав журнал Science, мовні моделі загалом схильні впевнено вгадувати відповідь, а не визнавати брак знань – бо саме так побудовані стандартні методи їх навчання й оцінювання: система здогадів винагороджується частіше, ніж чесне «не знаю». Це, за словами авторів дослідження PLOS One, створює нові можливості для маніпуляції громадською думкою й підкреслює потребу прозоро позначати та регулювати політичний контент, створений штучним інтелектом.
Нагадаємо, штучний інтелект неочікувано почав «тупішати» – користувачі ChatGPT відзначали погіршення якості відповідей, а серед можливих причин журналісти Computerworld називали «колапс моделі» через навчання на згенерованих самим ШІ даних.
