Тестирование DeepSeek R1 на игровом ПК, возможности модели с огромным контекстом.
Введение в модель DeepSeek R1
Недавно разработчики вновь обратили внимание на модель DeepSeek R1, поскольку релиз DeepSeek R2 был отложен. Оригинальная модель имеет размер 700 ГБ, так как обучалась в формате fp8, но если бы она обучалась в стандартных f16, ее вес был бы 1400 ГБ.
Характеристики модели
Мы попробуем запустить версию модели в 10 раз меньше - 130 ГБ. Для этого мы будем использовать самый маленький 1.66-битный IQ1_S_R4 квант полноценной модели.
Тестирование модели на игровом ПК
Для тестирования мы будем использовать игровой ПК с видеокартами 4090 и 4060ti. Мы загрузим в модель очень много контекста и проверим, насколько она способна давать разумные ответы.
Результаты тестирования
- Модель успешно запустилась на игровом ПК.
- Было проверено, как модель работает с огромным контекстом.
- Результаты показали, что модель все еще способна давать разумные ответы.
Выводы
Таким образом, мы можем сделать вывод, что модель DeepSeek R1 может быть успешно запущена на игровом ПК и показывает хорошие результаты даже на огромном контексте.
Подробнее об применении ИИ в разработке и примерах использования ИИ в различных сферах.
Комментариев нет
Отправить комментарий