TOPS: как измеряют мощность ИИ в чипах

TOPS (Trillions of Operations Per Second) - это количество триллионов простых вычислительных операций в секунду, которые может выполнить нейропроцессор или другой ИИ-ускоритель. Этим числом производители хвалятся мощностью ИИ в смартфонах и ноутбуках.

Простыми словами

TOPS - как максимальная скорость на спидометре авто. 250 км/ч выглядит круто, но ты редко так едешь, и многое зависит от дороги, шин и водителя. Так и с TOPS: это пиковая теоретическая цифра, а реальная скорость ИИ зависит от программ, памяти и того, как именно считали.

Как это работает

1. Нейропроцессор выполняет умножение и сложение чисел - основу работы нейросетей.
2. Производитель считает, сколько таких операций чип может сделать в секунду на максимуме.
3. Триллион операций в секунду = 1 TOPS.
4. Часто цифру приводят для коротких чисел (INT8 или INT4) - так она получается больше.
5. Реальная скорость ИИ-функций зависит еще и от памяти и оптимизации приложения.

Где ты это увидишь

TOPS пишут в характеристиках чипов для смартфонов, планшетов и ноутбуков (для «AI PC» часто упоминают порог в 40 TOPS для NPU). Также - в описаниях ускорителей для роботов, камер и автомобилей.

Важно ли это при выборе

Для ноутбука с ИИ-функциями Windows - да, там есть минимальные требования к NPU. Для смартфона - меньше, потому что важнее, какие ИИ-функции реально есть. Сравнивай TOPS только между чипами одного производителя и одной точности. Между разными брендами я бы ориентировался на тесты конкретных функций.

Мифы

• Миф: Больше TOPS - всегда быстрее ИИ-функции. На самом деле: Не всегда: многое зависит от памяти, программ и оптимизации.
• Миф: TOPS у всех производителей считают одинаково. На самом деле: Нет, могут отличаться точность чисел и методика.

Частые вопросы

Сколько TOPS в современных телефонах?

У флагманских NPU - десятки TOPS, но цифры часто приводят по разной методике.

Что такое INT8 и INT4 рядом с TOPS?

Разрядность чисел. На более коротких числах чип выполняет больше операций.

TOPS и TFLOPS - это одно и то же?

Нет. TFLOPS обычно считают для чисел с плавающей запятой (GPU), TOPS - для целых чисел (NPU).

Связанные термины

Нейропроцессор (NPU), ИИ на устройстве, Квантизация модели, Однокристальная система (SoC)