DIY-сервер с локальной LLM: возможности и перспективы

Tenstorrent выпустила PCIe-карты для запуска LLM на домашнем ПК или небольшом DIY-сервере.

Новое решение для DIY-серверов

Компания Tenstorrent начала принимать заказы на PCIe-карты Blackhole и Wormhole, предназначенные для разработчиков, желающих запускать LLM на домашнем ПК или небольшом DIY-сервере.

Ключевые особенности

Открытая архитектура RISC-V
28−32 ГБ видеопамяти
Ускорители TPU для LLM

Tenstorrent возглавляет легендарный инженер Джим Келлер, известный по работе в Intel и AMD.

Преимущества для разработчиков

Карты Tenstorrent предлагают реальную альтернативу решениям Nvidia в сегменте DIY-серверов.

Почему это важно

Благодаря радикальной открытости своих решений, Tenstorrent уже привлекла внимание LLM-энтузиастов.

Теперь разработчики могут запускать LLM локально, не полагаясь на облачные решения.

Перспективы

Ожидается, что новинка окажет значительное влияние на рынок DIY-серверов.

Ссылки: Подробности на Хабре