Сколько памяти нужно локальной нейросети?
Укажите размер языковой модели и квантование — получите предварительную оценку памяти. Расчёт выполняется в браузере: характеристики компьютера вводите вручную.
Оценка памяти с выбранным резервом
6.5 GiB
По этой оценке остаётся 1.5 GiB. Это ещё не гарантия запуска.
Теоретические веса: 3.73 GiB + 20% на особенности формата + резерв 2 GiB.
Как читать результат
8B означает около 8 миллиардов параметров. Если на каждый приходится 4 бита, сами веса занимают теоретически около 3,73 GiB. Реальный файл отличается: квантованные форматы хранят дополнительные данные, а некоторые тензоры могут иметь другую точность.
Калькулятор добавляет к весам условные 20% и выбранный вами резерв. Это прозрачная оценка, а не замер конкретной модели. Длинный контекст, KV-кэш, изображения, несколько одновременных запросов и настройки программы могут заметно увеличить расход памяти.
RAM и VRAM — что указывать?
Для полного запуска на дискретной видеокарте укажите свободную видеопамять. Для запуска на процессоре — свободную оперативную память. На устройствах с общей памятью учитывайте занятую системой часть. Складывать RAM и VRAM как один одинаково быстрый объём нельзя: частичная выгрузка возможна не во всех конфигурациях и влияет на скорость.
Что проверить перед скачиванием
- Размер выбранного файла модели, архитектуру и лицензию на её официальной странице.
- Поддержку вашей видеокарты и формата в программе запуска.
- Рекомендации автора по контексту и памяти. Оставьте запас для других приложений.
Для MoE-моделей указывайте общее число параметров, а не только активные параметры на токен. Этот калькулятор оценивает хранение весов, а не производительность. Для генерации изображений и видео нужен отдельный расчёт.