Велика мовна модель ШІ Claude 3 Opus вперше обійшла GPT-4

Велика мовна модель ШІ Claude 3 Opus вперше обійшла GPT-4 на платформі Chatbot Arena

ТОП 10 великих мовних моделей від Chatbot Arena Leaderboard очолив штучний інтелект Claude 3 Opus

Велика мовна модель ШІ Claude 3 Opus вперше обійшла GPT-4 на платформі Chatbot Arena, що викликало значний резонанс у галузі.

Chatbot Arena є відкритою краудсорсинговою платформою, призначеною для оцінки великих мовних моделей. Її методика базується на порівнянні відповідей штучного інтелекту на запити користувачів та формуванні рейтингу за системою Elo на основі тисяч тестів.

LMSYS Chatbot Arena рейтинг ТОП-10 великих мовних моделей (LLM)
LMSYS Chatbot Arena рейтинг ТОП-10 великих мовних моделей (LLM)

Запуск таблиці лідерів Chatbot Arena відбувся 3 травня 2023 року, і в цей день мовна модель GPT-4 увійшла до списку. Протягом часу вона неодмінно утримувала перші позиції, але тепер ситуація змінилася. Claude 3 Opus встановила нові стандарти ефективності в цій галузі, випередивши GPT-4 та Bard (Gemini Pro) від Google.

Що особливо вражає, так це те, що навіть більш маленька модель Haiku від Anthropic також привернула увагу до себе своєю високою продуктивністю в рейтингу. Це свідчить про те, що Anthropic робить значний внесок у розвиток сфери штучного інтелекту.

Середній коефіцієнт порівняно з усіма іншими моделями (за умови рівномірної вибірки та відсутності рівних результатів) / Chatbot Arena
Середній коефіцієнт порівняно з усіма іншими моделями (за умови рівномірної вибірки та відсутності рівних результатів) / Chatbot Arena

Цікаво, що різниця в балах Elo між першими трьома моделями незначна, але Bard відстає від третього місця вже на 45 балів, підкреслюючи перевагу Claude 3 Opus та GPT-4 над іншими конкурентами.

Цей переможний результат Claude 3 Opus від Anthropic нарівні зі високою продуктивністю інших моделей підтверджує важливість інновацій у сфері штучного інтелекту та посилення конкуренції на ринку великих мовних моделей.