Идеи и решения для ПККомпьютерные технологии

Какой компьютер нужен для нейросетей

30 марта, 2025

В 2025 году у меня появилось новое направление – разработка компьютеров индивидуальной сборки для больших нейролингвистических моделей (LLM). То есть, для нейросетей, которые генерируют тексты. Эти модели существовали и ранее, но только теперь они достигли такого уровня и качества, что появился смысл ставить их на собственный компьютер.

Я тщательно, с разных сторон, протестировал на своём ПК различные модели от Llama и DeepSeek, нашумевшего китайского аналога ChatGPT. Они отлично работают с видеокартами, и чем мощнее видеокарта, тем лучше работают. Таким образом, если вы думаете о новой видеокарте для современных игр, знайте – она же может пригодиться и для нейросетей. Генерировать картинки в сетях типа Stable Diffusion может даже RTX 3050, я этим занимаюсь с 2022 года и уже успел изучить всевозможные тонкости. Топовая видеокарта уровня RTX 4080 Super генерирует картинки за секунды. А текстовый материл – так быстро, что не успеваешь читать его с экрана.

Но для работы именно с LLM-моделями мощная видеокарта некритична. Без неё можно обойтись, если есть мощный процессор и много оперативной памяти. Чем больше у модели параметров, тем лучше, качественнее и точнее она работает – и тем больше весит в гигабайтах. Если модели не хватает видеопамяти, не беда – она сама полезет грузиться в оперативную. Та намного медленнее видеопамяти, зато в разы дешевле. На качестве работы это не отразится, только на скорости. Но если модели не хватает памяти, чтобы загрузиться целиком, работать она не будет.

Всё это проверено лично, в частности, на модели весом 70 ГБ – см. скрин. Тестовый вопрос, один из многих, заданных мной, достаточно сложный и нетривиальный даже для вузовского преподавателя или литературного критика. Нейромодель с ним справилась за несколько минут.

Итак, суммирую: для эффективной работы с локальными LLM-моделями нужны процессор и оперативная память, чем мощнее + больше, тем лучше. А значит, и материнская плата подобающего уровня, и система охлаждения, которая справится с мощным процессором под высокой нагрузкой. Мощная видеокарта – опционально, но эта опция может стать очень полезной, если нужно также генерировать картинки и/или играть с высокими настройками графики.

Кому всё это интересно – обращайтесь, соберу такой ПК.