Компания Raspberry Pi выпустила AI Kit — первый фирменный аксессуар для машинного обучения на базе одноплатного компьютера. В основе набора лежит Hailo-8L, урезанная версия нейроускорителя Hailo-8, обеспечивающая производительность 13 TOPS (триллионов операций в секунду) для задач с 8-битной точностью (INT8).
Ключевые особенности
- Энергопотребление: Всего 1–5 Вт (1 Вт на 3 TOPS).
- Форм-фактор: M.2 Hat-плата с предустановленным модулем Hailo-8L.
Для сравнения, современные NPU в SoC от Qualcomm, AMD и Intel предлагают 45–50 TOPS, но их стоимость значительно выше. Raspberry Pi сохраняет баланс между ценой и производительностью, делая ИИ-технологии доступнее.
Почему Hailo-8L, а не встроенный NPU?
Генеральный директор Raspberry Pi Эбен Аптон объяснил, что выбор отдельного ускорителя вместо интеграции NPU в чип — осознанное решение:
1. Экономия: Встроенный NPU увеличил бы стоимость Raspberry Pi 5.
2. Гибкость: Пользователи могут докупить AI Kit только при необходимости.
3. Быстрая разработка: Модуль создали всего за 6 месяцев.
Аптон также отметил, что Raspberry Pi 5 изначально проектировался с "раздельной" архитектурой:
- CPU/GPU на 16-нм чипе.
- Контроллеры ввода-вывода на 40-нм чипе (для снижения цены).
Локальный ИИ вместо облачных решений
До появления AI Kit пользователи Raspberry Pi обрабатывали ИИ-задачи в облаке. Например, на японской ферме с помощью Raspberry Pi 3 сортировали огурцы с точностью 70%, но с задержками из-за зависимости от интернета.
Теперь даже упрощённые версии больших языковых моделей (LLM) могут работать локально. Как отметил Аптон:
"Raspberry Pi 5 подходит для компактных моделей, а оптимизированные LLM выдают несколько токенов в секунду. Конечно, LLaMA 3 70B на нём не запустишь, но для многих задач облако больше не обязательно".
Перспективы и планы
1. Рост ИИ-приложений: Низкая цена комплекта может спровоцировать "взрывной" рост проектов в области машинного обучения.
2. Партнёрство с Hailo: Аптон намекнул, что это не последний совместный продукт.
AI Kit — это шаг к демократизации ИИ, позволяющий энтузиастам и разработчикам экспериментировать с машинным обучением без больших затрат. При этом Raspberry Pi сохраняет свою философию: доступность, модульность и открытость.
