Компания Tenstorrent объявила о выходе на рынок вычислительной платформы Galaxy Blackhole, построенной на базе архитектуры RISC-V. Новые серверы позиционируются как доступное и масштабируемое решение для обучения и запуска моделей искусственного интеллекта.
Технические характеристики и возможности
Система выполнена в форм-факторе 6U (высота корпуса около 27 см) и включает в себя 32 ускорителя Blackhole. Чипы объединены в высокоплотную ячеистую сеть на базе Ethernet с совокупной пропускной способностью 100 Тбит/с. Каждый такой узел оснащен 1 ТБ памяти GDDR6 с пропускной способностью 16 ТБ/с и обеспечивает производительность до 23 петафлопс при вычислениях с плавающей запятой в формате FP8.
Стоимость одного сервера составляет 110 000 долларов. Для сравнения, восьмипроцессорные системы Nvidia DGX обладают большей емкостью, однако их цена превышает стоимость решения от Tenstorrent в три-пять раз.
Масштабируемость и программное обеспечение
Архитектура платформы позволяет объединять серверы в кластеры, подобно тому, как реализованы системы Google TPU или Amazon Trainium2. Базовый суперкластер Galaxy, состоящий из четырех узлов, оценивается в 440 000 долларов. Предельная конфигурация системы поддерживает масштабирование до 32 узлов, что в сумме дает более тысячи ускорителей.
Представители Tenstorrent сообщают о значительной доработке программного стека. Если ранее наблюдались проблемы с совместимостью моделей и низкой эффективностью масштабирования, то теперь эти недостатки устранены. Ключевые показатели работы системы на модели DeepSeek V3 включают следующие данные:
- Обработка запроса объемом 100 000 токенов (эквивалент 166 страниц текста) занимает менее 4 секунд.
- Текущая скорость генерации составляет до 300 токенов в секунду на пользователя, с планами по увеличению до 350 токенов после будущих обновлений ПО.
- Эффективное масштабирование системы при работе с пакетами данных (batch size) от 8 до 64.
Применение и перспективы
Помимо поддержки больших языковых моделей, платформа ориентирована на генерацию видео. В конфигурации из четырех узлов система способна создавать видео в разрешении 1280 на 720 пикселей быстрее реального времени. Команда разработчиков также внедрила интерфейс программирования на Python для написания оптимизированных ядер, что позволяет быстрее адаптировать новые модели.
Компания заявляет о совместимости с 90% моделей из репозитория Hugging Face. В настоящее время оборудование доступно для тестирования через центры обработки данных и облачных провайдеров, включая компании Cirrascale, Equinix и японскую ai&. Более подробную информацию производитель планирует представить на мероприятии TT-Deploy, которое состоится 1 мая.
