xAI Ілона Маска використовує 100,000 NVIDIA H100 для тренування моделі Grok 3
Стартап Ілона Маска у сфері штучного інтелекту xAI, розпочав нову еру у розробці мовних моделей великого масштабу (LLM). Компанія розкрила, що для тренування свого наступного покоління моделі Grok 3 було використано 100,000 високопродуктивних AI GPU NVIDIA H100. Це значне досягнення у порівнянні з попередніми версіями та ставить нові стандарти у світі штучного інтелекту.
Конкуренція у сфері AI та роль xAI
Зі зростанням попиту на AI-чатботів, багато компаній зосередилися на вдосконаленні своїх моделей LLM. Серед них і новий учасник – стартап Ілона Маска, xAI. Компанія анонсувала серію моделей “Grok”, призначених для інтеграції як AI-асистентів для преміум-користувачів платформи X (раніше відома як Twitter).
Наразі xAI випустила кілька версій початкової моделі, і зараз готується до запуску Grok 2, який заплановано на серпень. Але найбільшою новиною стала презентована Ілоном Маском модель Grok 3, яка обіцяє бути значно масштабнішою за своїх попередників.
Потужність Grok 3 та її потенціал
Інформація про використане обладнання для тренування Grok 3 викликала чимало здивування та захоплення. Використання 100,000 одиниць найсучасніших AI GPU NVIDIA H100 для тренування моделі є безпрецедентним кроком, який обіцяє неймовірні результати.
Для порівняння, за чутками, модель GPT-4 від OpenAI була тренована на 40,000 одиницях NVIDIA A100, які є старішими та менш потужними у порівнянні з H100. Таким чином, можна уявити, наскільки потужною буде модель Grok 3.
Grok 2 in August will be Based AGI 🔥 https://t.co/7sEWIDjbsF
— Beff – e/acc (@BasedBeffJezos) July 1, 2024
Висловлювання Ілона Маска та майбутні плани
У попередньому твіті Ілон Маск зазначав, що тренування мовних моделей на основі даних з інтернету є складним завданням, яке вимагає багато обчислювальних ресурсів. Він заявив, що модель Grok 2, яка з’явиться у серпні, буде покращеною у цьому відношенні, а Grok 3 стане логічним продовженням цього прогресу.
Крім того, Маск анонсував плани придбати флагманські AI-прискорювачі Blackwell B200 від NVIDIA для xAI, вартість яких становить приблизно $9 мільярдів. Використання 100,000 одиниць NVIDIA H100 для тренування моделі Grok 3 коштуватиме близько $3 мільярдів, що підкреслює масштабність інвестицій у цей проект.
Вплив на ринок AI
Зараз важко передбачити, яким чином xAI та його проекти вплинуть на ринок AI. Проте очевидно, що стартап Ілона Маска має амбіції стати важливим гравцем у цій галузі. Використання найсучасніших технологій та потужних ресурсів демонструє серйозність намірів компанії та готовність досягти значних проривів у розробці штучного інтелекту.
Можливо, вже найближчим часом ми станемо свідками нових досягнень від xAI, які змінять правила гри у сфері AI та відкриють нові можливості для користувачів по всьому світу.
