Обучение и инференс: две стадии жизни нейросети
Обучение (training) - этап, когда нейросеть учится на огромных наборах данных. Инференс (inference) - этап использования уже обученной модели: она получает запрос и выдает ответ.
Простыми словами
Обучение - это годы школы и университета: долго, дорого, с кучей учебников. Инференс - это работа после учебы: врач смотрит на пациента и ставит диагноз за минуту. Он не учит медицину заново каждый раз, а пользуется тем, что уже знает.
Как это работает
- Во время обучения модель прогоняют через данные миллионы раз и подстраивают ее параметры.
- Это делают в дата-центрах на тысячах ускорителей, иногда месяцами.
- После обучения параметры «замораживают» - модель готова.
- Инференс - это один прогон запроса через готовую модель, без изменения параметров.
- Инференс может работать в облаке или прямо на твоем телефоне, если модель небольшая.
Где ты это увидишь
Когда производитель говорит, что ИИ-функция работает «на устройстве», речь именно об инференсе - обучали модель раньше, на серверах. Нейропроцессор (NPU) в смартфоне создан в основном для инференса. А новости о «крупнейших дата-центрах для ИИ» - в основном про обучение.
Важно ли это при выборе
Понимание помогает не верить лишнему маркетингу. Телефон не «обучается» с нуля - он запускает готовую модель. Поэтому важны скорость NPU и объем оперативной памяти: чтобы модель поместилась и отвечала быстро. Для большинства людей инференс в облаке тоже ок, если есть интернет и не жалко передавать данные.
Мифы
- Миф: Модель учится с каждым моим разговором. На самом деле: Обычно нет - во время инференса параметры не меняются. Сервисы могут использовать разговоры для будущего обучения, но это отдельный процесс, и часто его можно отключить.
- Миф: Инференс - это дешево. На самом деле: Один запрос - да, но миллиарды запросов ежедневно стоят компаниям очень много энергии.
Частые вопросы
Что дороже - обучение или инференс?
Обучение одной большой модели очень дорогое, но инференс для миллионов пользователей со временем может стоить еще больше.
Может ли телефон дообучить модель?
Лишь немного и в отдельных сценариях - например, клавиатура подстраивается под твои слова.
Что такое «ускоритель ИИ»?
Специальный чип для вычислений нейросетей - от NPU в телефоне до больших серверных плат.
Связанные термины
Нейропроцессор (NPU), ИИ на устройстве, Облачный ИИ, Дообучение модели, Параметры модели