Arduino сотрудничает с чип-стартапом Axelera, чтобы перенести машинное обучение из облака в устройства Интернета вещей на базе своего оборудования линейки Pro.

Чтобы самое продвинутое машинное обучение донести до широких масс, Arduino объединит усилия со стартапом Axelera, занимающимся разработкой чипов ИИ. В рамках сотрудничества ускорительные чипы Axelera будут объединены с семействами систем-на-модуле Arduino, что обеспечит им более чем достаточную производительность для запуска полностью локальных больших языковых моделей, которые являются основой бума ИИ.

Компании планируют представить демо-версию технологии на выставке CES 2025, ранее известной как Consumer Electronics Show (Выставка потребительской электроники).

Ознакомьтесь с технологиями и анонсами, которые вы, вероятно, не увидите на выставке.

В более широком смысле соглашение направлено на устранение препятствий для запуска высокопроизводительного ИИ на устройствах Интернета вещей. Компании рассказали о потенциале сотрудничества, которое дает более чем 30 миллионам разработчиков, работающих с Arduino, более легкий доступ к решениям Axelera.

«Сотрудничая с Axelera AI, мы предоставляем разработчикам и компаниям средства для интеграции передовых возможностей ИИ в свои проекты», – сказал Фабио Виоланте (Fabio Violante), генеральный директор компании Arduino, которая строит планы коммерческого будущего для своего оборудования с открытой документацией.

Хотя Arduino уже широко используется инженерами для быстрого создания прототипов устройств Интернета вещей и другой электроники, компания-разработчик также продвигает на рынок высокоэффективное аппаратное и программное обеспечение, ориентированное на массовое производство. Линейка Arduino Pro компании включает в себя семейство промышленных компьютерных модулей Portenta, имеющих размеры пластинки жевательной резинки, а также семейство датчиков голоса, зрения и других интеллектуальных датчиков Nicla. Все это поддерживается безопасным, масштабируемым и легкодоступным облаком, а также огромным количеством программных библиотек и других инструментов для разработчиков.

Arduino заявляет, что семейство чипов Portenta позволяет запускать относительно компактные модели машинного обучения полностью на устройстве. Но им, как правило, не хватает производительности для запуска многих из наиболее продвинутых типов ИИ, включая большие языковые модели.

Portenta – это семейство промышленных систем-на-модуле от Arduino.

Metis: ускоритель ИИ

Arduino получает подкрепление в виде устройства обработки ИИ (AI Processing Unit, AIPU) от Axelera, которое предназначено для высокоэффективной работы с выводами ИИ. Первый чип в семействе ускорителей, Metis, оснащен четырьмя ядрами ИИ, каждое из которых может выполнять до 53.5 триллионов операций в секунду (trillion operations per second, TOPS). Кремний дополняется программным стеком Voyager SDK, предоставляющим клиентам компиляторы и другие инструменты для загрузки моделей машинного обучения в Metis.

Основной для каждого ядра является архитектура вычислений в оперативной памяти компании Axelera (D-IMC). Она используется для выполнения интенсивных вычислений, лежащих в основе ИИ (также называемых матричным умножением), в своем статическом ОЗУ, которое широко используется в качестве кэш-памяти в современных чипах.

Максимально быстрая передача данных в процессоры – одно из узких мест в машинном обучении. Самые совершенные микросхемы ИИ в центрах обработки данных оснащены высокоскоростной памятью (HBM), чтобы сократить энергоемкий процесс передачи данных в процессор, который, помимо прочего, также увеличивает задержку.

Axelera утверждает, что благодаря совместному размещению логики и памяти Metis может обеспечить более высокую энергоэффективность до 15 TOPS на ватт. Это идеально подходит для устройств с батарейным питанием, которые не могут позволить себе потреблять слишком много энергии или выделять слишком много тепла.

По словам Axelera, ядра могут иметь доступ к общей внутренней памяти объемом более 52 МБ, а также с помощью интегрированного в чип контроллера памяти подключать дополнительную память LPDDR4, чтобы запускать модели машинного обучения, которые слишком велики, чтобы поместиться в кэш-память чипа. Axelera сообщила, что Metis, использует PCIe для подключения к хост-процессору, образующему основу системы, что переносит нагрузку ИИ в СнК.

«Мозг» Portenta X8

На выставке CES компании планируют подключить к модулю Arduino Portenta X8 несущую плату на базе чипа Metis от Axelera, которая будет выступать в роли «мозга» системы. Она может обрабатывать данные о температуре, вибрации, влажности и любую другую информацию с датчиков, подключенных к оборудованию в заводских цехах. Затем она передает данные в Metis, который запускает ИИ-модель Phi-3 от Microsoft полностью на устройстве, чтобы в режиме реального времени выявлять потенциальные проблемы, прежде чем они станут причиной сбоев или отказов.

Phi – это лишь малая часть масштабов и сложности моделей машинного обучения, лежащих в основе ChatGPT от OpenAI и других чат-ботов. Последние обычно работают в центрах обработки данных из-за огромных требований к вычислительным ресурсам.

Пока неясно, планирует ли Arduino использовать чипы Axelera в будущих модулях Portenta. Однако генеральный директор и соучредитель Axelera Фабрицио Дель Маффео (Fabrizio Del Maffeo) отметил, что в более широком смысле это сотрудничество направлено на предоставление современного ИИ с минимальными затратами энергии и средств.

Он сказал: «Реализация настоящих инноваций в области ИИ крайне важна для компаний».