Параметры модели: что означают 7B, 70B и триллионы

Параметры модели - это внутренние числа нейросети (веса и смещения), которые настраиваются во время обучения и хранят все, чему модель научилась. Количество параметров часто пишут в названии: 7B означает 7 миллиардов.

Простыми словами

Представь огромный микшерный пульт в студии звукозаписи с миллиардами ползунков. Во время обучения каждый ползунок немного двигают, пока «звучание» модели не станет правильным. Параметры - это положение всех этих ползунков. Чем их больше, тем тоньше можно настроить «звук», но и пульт становится огромным и дорогим.

Как это работает

1. Каждое соединение между нейронами имеет свое число - вес.
2. Во время обучения миллиарды этих чисел постепенно меняют, чтобы модель ошибалась меньше.
3. После обучения числа сохраняют в файл - это и есть модель.
4. Размер файла зависит от количества параметров и точности чисел.
5. Во время работы все нужные параметры должны поместиться в память - оперативную или видеопамять.

Где ты это увидишь

Количество параметров пишут в названиях открытых моделей (Llama 3 8B, Qwen 72B, Mistral 7B) и в новостях о новых моделях. Для ИИ на устройстве используют небольшие модели - от нескольких сотен миллионов до нескольких миллиардов параметров.

Важно ли это при выборе

Если хочешь запустить модель на своем ноутбуке или телефоне - да. Грубо: модель на 7 миллиардов параметров в сжатом виде занимает несколько гигабайт памяти. Поэтому для локального ИИ я смотрю на объем RAM. А вот для облачных чат-ботов количество параметров тебя почти не касается.

Мифы

• Миф: Больше параметров - всегда умнее модель. На самом деле: Нет. Новая малая модель, обученная на более качественных данных, часто обгоняет старую большую.
• Миф: Параметры - это количество фактов, которые знает модель. На самом деле: Знания распределены по всем параметрам, а не лежат по одному факту в каждом.

Частые вопросы

Что означает B в названии модели?

Billion - миллиард параметров. 70B - 70 миллиардов.

Сколько параметров в самых больших моделях?

Точные цифры компании часто не раскрывают, но оценки - сотни миллиардов и больше.

Сколько памяти нужно для модели 7B?

В сжатом (квантизованном) виде - несколько гигабайт; без сжатия - заметно больше.

Связанные термины

Квантизация модели, Нейронная сеть, Открытые модели, ИИ на устройстве