GPT-4 Успішно Пройшов Тест Тюрінга: 54% учасників вважали його людиною
Університет Каліфорнії в Сан-Дієго опублікував результати дослідження, яке має потенціал змінити наші уявлення про штучний інтелект (ШІ). Дослідники з відділу когнітивних наук — Кемерон Джонс та Бенджамін Берген — провели рандомізований контрольований експеримент з Тестом Тюрінга, який виявив, що сучасна модель ШІ GPT-4 змогла переконати людей, що вони спілкуються з людиною.
Експеримент та Методологія
В дослідослідження включало три системи: ELIZA, GPT-3.5 та GPT-4. Учасники експерименту вели п’ятихвилинні розмови з одним із трьох ШІ або ж із справжньою людиною. Після закінчення розмови учасники мали визначити, чи їх співрозмовник був людиною чи машиною. Результати показали, що GPT-4 була визначена як людина в 54% випадків, що значно перевищує показник ELIZA (22%) і наближається до показника реальних людей (67%).
Висновки та Наслідки
Це дослідження вперше емпірично довело, що ШІ може пройти інтерактивний двосторонній Тест Тюринга, в якому бере участь один співрозмовник-людина та один співрозмовник-ШІ. Такий результат має значні наслідки для обговорення питання машинного інтелекту та можливості обману з боку сучасних ШІ систем. Аналітично виявлено, що стилістичні та соціально-емоційні фактори відіграють значно більшу роль у проходженні Тесту Тюрінга, ніж традиційні уявлення про інтелект.
Тест Тюрінга та Його Значення
Ідея Тесту Тюрінга, запропонована Аланом Тюрінгом у 1950 році, полягала в тому, щоб визначити, чи може машина генерувати поведінку, яка не відрізняється від людської. У оригінальному формулюванні тесту людський інтеррогатор спілкується з двома свідками (одним з яких є людина, а іншим — машина) через текстовий інтерфейс. Якщо інтеррогатор не здатен надійно відрізнити людину від машини, машина вважається такою, що пройшла тест.
Підхід до Дослідження
У дослідженні Джонса та Бергена було використано двосторонню формулу гри, де один людський інтеррогатор спілкувався з одним свідком, який міг бути як людиною, так і ШІ. Учасники експерименту були набрані через платформу Prolific і випадково розподілені на п’ять груп. Одна група складалася з людей, які виступали свідками, решта — інтеррогаторами, які мали спілкуватися з одним із чотирьох видів свідків (GPT-4, GPT-3.5, ELIZA або людиною).
Результати та Аналіз
GPT-4 досягла рівня успішного розпізнавання як людини в 54% випадків, що перевищує показник GPT-3.5 (50%) та ELIZA (22%), але поступається показнику реальних людей (67%). Аналіз показав, що інтеррогатори частіше звертали увагу на стилістичні та соціально-емоційні фактори при прийнятті рішень, ніж на знання та логічні міркування.
Довіреність та Причини Вердиктів
Інтеррогатори часто використовували такі стратегії, як невимушені розмови, обговорення особистих деталей або повсякденних занять. Найбільш ефективними стратегіями були питання про людський досвід, логіку та математику, а також звинувачення свідка в тому, що він є ШІ. Основними причинами, що вказували на свідка як на ШІ, були нав’язливість стилю спілкування, надмірна неформальність або відсутність особистісних рис.
Обговорення та Висновки
Результати експерименту демонструють, що GPT-4 здатна успішно пройти версію Тесту Тюрінга, що може мати важливі соціально-економічні наслідки. ШІ, здатний правдоподібно імітувати людину, може використовуватися в економічно вигідних ролях, які традиційно займали люди, а також потенційно вводити в оману широку публіку та знижувати довіру до автентичних людських взаємодій.
Дослідження Джонса та Бергена підтверджує, що сучасні ШІ системи, такі як GPT-4, можуть успішно проходити Тест Тюрінга, що змушує задуматися про можливості та етичні аспекти використання ШІ в нашому суспільстві. Це відкриває нові горизонти для майбутніх досліджень і розробок в галузі штучного інтелекту.
