Квантизация модели: как сжать ИИ, чтобы он поместился в телефон

Квантизация - это способ уменьшить размер нейросети, записывая ее параметры менее точными числами (например, 4 бита вместо 16). Модель становится меньше и быстрее, теряя немного качества.

Квантизация сжимает модель, чтобы она поместилась в телефон

Простыми словами

Представь фото на 50 мегапикселей, которое нужно переслать в мессенджере. Ты его сжимаешь - файл в десятки раз меньше, а на экране телефона разницы почти не видно. Квантизация делает то же с параметрами модели: округляет числа, и модель «худеет» в несколько раз, а отвечает почти так же.

Как это работает

Параметры модели обычно хранят 16- или 32-битными числами.
При квантизации их округляют до 8, 4 или даже меньшего количества бит.
Модель занимает в разы меньше памяти и быстрее работает на NPU или видеокарте.
Хитрые методы округляют с умом, чтобы самые важные числа сохранили точность.
Чем сильнее сжатие, тем заметнее может упасть качество ответов.

Менее точные числа - меньший размер модели

Где ты это увидишь

Квантизованные модели - основа ИИ на устройстве: смартфоны и ноутбуки запускают именно сжатые версии. Энтузиасты, которые запускают модели на своем компьютере, видят пометки вроде Q4, Q8, INT4, GGUF - это об уровне квантизации и формате файла.

Важно ли это при выборе

Для обычного пользователя это невидимая работа производителя. Но если ты запускаешь локальные модели - да: 4-битная версия дает разумный баланс качества и размера. А еще это объясняет, почему поддержка INT4 и INT8 в нейропроцессоре - полезная характеристика.

Мифы

Миф: Квантизованная модель - совсем другая, худшая модель. На самом деле: Это та же модель, просто с менее точными числами. В большинстве задач разница небольшая.
Миф: Можно сжать до 1 бита без потерь. На самом деле: Чем сильнее сжатие, тем больше теряется качество - чудес нет.

Частые вопросы

Что означает Q4 в названии файла модели?

Что параметры записаны примерно четырьмя битами - один из самых популярных вариантов.

Можно ли квантизовать модель самому?

Да, для открытых моделей есть готовые инструменты.

Почему телефоны любят INT8 и INT4?

Потому что NPU обрабатывает такие короткие числа быстрее и с меньшими затратами энергии.

Связанные термины

Параметры модели, ИИ на устройстве, Нейропроцессор (NPU), Открытые модели