Установка языковой модели (ChatGPT) deepseek на vps сервер

Данный пост рассматривает как быстро настроить сервер для запуска LLM моделей с сайта ollama.com
Для запуска языковой модели deepseek-r1 с 7 миллиардами параметров потребуется сервер с 4-6 ядрами CPU, не менее 6 ГБ ОЗУ и 30Гб SSD (NVMe) диском.
Для более продвинутых моделей потребуется больше ресурсов (оперативной памяти), например для запуска этой же модели с 14b (14 миллиардов параметров) потребуется сервер с не менее 12 Гб оперативной памяти. Количество ядер CPU будет напрямую влиять на скорость работы языковой модели, поэтому чем их будет больше тем быстрее мы будем получать ответы.
В данном примере мы будем настраивать сервер с ОС Ubuntu 22, так же без проблем это можно настроить и на Windows.

Для настройки сервера под работу данной языковой модели или любой другой обращайтесь в поддержку хостинга.


Читать дальше