Чи потягне вживаний ноутбук нейромережу без інтернету: скільки потрібно пам’яті

Ви встановили безкоштовну програму для локальних нейромереж, завантажили модель і поставили перше запитання. Відповідь з’являється по слову, наче хтось друкує одним пальцем. Процесор при цьому завантажений не повністю, тож причина ховається деінде.

Для кожного нового слова модель заново проходить по всіх своїх параметрах. Це схоже на книжку, яку треба перегорнути від першої до останньої сторінки, щоб дописати одне слово у відповідь. Тому швидкість локальної нейромережі визначає передусім пам’ять ноутбука, її обсяг і те, як швидко вона віддає дані. Ми, команда техніків Choicy, розберемо, на що дивитися, якщо вживаний ноутбук купують саме під ШІ без інтернету.

Що означає запустити нейромережу локально?

Запустити нейромережу локально означає, що мовна модель працює на вашому ноутбуці, без звернень до сервера. Після завантаження файлу моделі інтернет не потрібен. Запитання й документи лишаються на пристрої.

Більшість домашніх інструментів працюють на основі відкритого проєкту llama.cpp. Його почав Георгій Герганов у березні 2023 року як програму, що запускає модель на звичайному процесорі без відеокарти. У серпні 2023-го з’явився формат GGUF, у якому модель лежить одним файлом. Саме такі файли зазвичай і завантажують для домашнього запуску.

Чим відрізняються Ollama і LM Studio?

Обидві програми запускають ті самі файли моделей, різниця в способі роботи. LM Studio — застосунок з вікнами, де модель знаходять, завантажують і розпитують у чаті всередині програми. Ollama працює з командного рядка й піднімає локальний сервер за адресою localhost:11434. До нього підключаються інші програми, наприклад редактор коду чи власний скрипт.

Для першого знайомства зручніше вікно з чатом, для зв’язки з іншими інструментами — сервер. Вимоги до заліза в обох однакові, бо всередині працює той самий рушій llama.cpp.

Скільки пам’яті займає модель?

Розмір моделі приблизно пропорційний кількості її параметрів. У назвах їх позначають літерою B від англійського billion, тож 8B означає 8 млрд параметрів. У бібліотеці Ollama версія 1B займає 1,3 ГБ, 3B — 2 ГБ, 8B — 4,9 ГБ, а 70B — уже 43 ГБ.

Такі розміри виходять завдяки квантуванню. У повній точності кожен параметр займає 2 байти, тож 8B без стиснення зайняла б близько 16 ГБ. Квантування огрублює числа приблизно до 4 біт, і файл стає втричі меншим. Наслідок такого стиснення — трохи менша точність відповідей, яку в побутових задачах помічають рідко.

До самого файлу додається місце під систему, браузер і контекст розмови. Що довше листування, то більше даних програма тримає під нього. Тому розробники LM Studio радять для Windows щонайменше 16 ГБ RAM.

Що означають позначки Q4_K і Q8 у назві файлу?

Позначка в назві файлу показує, наскільки стиснуто ваги. За описом формату GGUF на Hugging Face, Q4_K займає 4,5 біта на параметр, Q5_K — 5,5 біта, Q6_K — приблизно 6,6 біта. Повна точність F16 займає 16 біт, тож файл у Q4_K приблизно втричі менший.

Що більша цифра, то точніші відповіді й більший файл. На ноутбуці з рекомендованим обсягом RAM версія 8B у Q4_K лишає запас під систему. У Q8 вона забирає вже близько половини всієї RAM.

Чому довга розмова з’їдає пам’ять?

Кожне нове слово в розмові додає службові дані, так званий KV-кеш. Він росте пропорційно довжині контексту. Для 8B кеш на 8 тис. токенів займає близько 1 ГБ, на 32 тис. — уже близько 4 ГБ. На довгому контексті кеш стає більшим за саму стиснуту модель.

Тому в налаштуваннях програми довжину контексту ставлять під задачу. Для коротких запитань вистачає кількох тисяч токенів, а аналіз довгого документа вимагає запасу RAM.

Чому відповідь іде по слову?

Відповідь іде по слову, бо для кожного токена процесор зчитує з пам’яті всю модель. Обчислення відбуваються швидко, а більшість часу йде на очікування даних. Тому грубу оцінку швидкості дає просте ділення, пропускна здатність RAM поділена на розмір файлу.

Ось кілька орієнтирів з відкритих замірів.

1. Двоканальна DDR4-3600 дає близько 57,6 ГБ/с. Файл на 4,9 ГБ теоретично дасть до 11 токенів за секунду (далі т/с), на практиці менше.
2. Двоканальна DDR5-5400 дає близько 86,4 ГБ/с, тобто приблизно в півтора раза швидше.
3. Відеокарта рівня RTX 3060 має близько 360 ГБ/с і на моделі в 10 ГБ видає приблизно 35 т/с.

Звідси перше практичне правило. Для локальної нейромережі покоління й частота пам’яті означають більше, ніж кількість ядер процесора.

Яка швидкість відповіді комфортна?

Комфортною називають швидкість, з якою людина встигає читати. За метааналізом Марка Брисберта 2019 року, дорослі мовчки читають у середньому близько 238 слів за хвилину, тобто приблизно 4 слова за секунду. Англійське слово в середньому дорівнює трохи більше ніж одному токену, а українське розбивається на більшу кількість токенів.

Тож 5–10 т/с уже читаються як рівний текст. Нижче трьох відповідь помітно відстає від погляду, і чекати доводиться після кожного речення.

Що буде, якщо модель не вміщається в пам’ять?

Якщо файлу бракує місця в RAM, Windows переносить частину даних у файл підкачки на накопичувачі. Для нейромережі це означає різке падіння швидкості, бо кожен токен знову вимагає прочитати всі ваги. Навіть SSD віддає дані в рази повільніше за двоканальну DDR4-3600 з прикладу вище, а SATA-диск — майже в сто разів. Відповідь, яка мала йти рівним текстом, тоді з’являється по слову на кілька секунд.

Ознаку видно в диспетчері завдань. Якщо зайнятість пам’яті тримається біля 100 %, а накопичувач постійно активний, файл завеликий для цього ноутбука. Тоді беруть версію з меншою кількістю параметрів або сильніше стиснення, наприклад позначку Q4 замість Q8, і закривають браузер з десятками вкладок.

Одна планка пам’яті чи дві?

Дві однакові планки дають помітно швидшу генерацію, ніж одна. У двоканальному режимі процесор читає з обох планок одночасно, і пропускна здатність майже подвоюється. В одному відкритому тесті на міні-ПК з DDR4 друга планка прискорила генерацію в середньому на 56 %, обробка запиту при цьому майже не змінилася.

Перевірити режим на Windows просто. Відкрийте диспетчер завдань, вкладку «Продуктивність» і розділ «Пам’ять». Напис «Використано гнізд 1 з 2» означає, що працює одна планка й другий канал порожній. Частина ноутбуків має пам’ять, розпаяну на платі, тоді докупити планку не вийде, і обсяг треба брати з запасом одразу.

Чи потрібна відеокарта для нейромережі?

Окрема відеокарта не обов’язкова, проте з нею генерація йде в рази швидше. Відеопам’ять має набагато вищу пропускну здатність за звичайну оперативну. Для Windows розробники LM Studio радять щонайменше 4 ГБ виділеної відеопам’яті.

Головне обмеження відеокарти — її обсяг. Якщо модель не вміщається у відеопам’ять повністю, частина шарів лишається в оперативній пам’яті, і швидкість падає ближче до рівня звичайної пам’яті. Тому для ноутбука з 4–6 ГБ відеопам’яті реалістичні версії 3B–8B. Якщо вдома є стаціонарний ПК, туди простіше поставити окрему відеокарту з більшим обсягом пам’яті, ноутбук такої заміни не дозволяє.

Що з вимогами DeepSeek на ноутбуці?

Запит «DeepSeek локально» зазвичай стосується скорочених, так званих дистильованих версій моделі. У бібліотеці Ollama вони мають від 1,5 до 70 млрд параметрів і займають від 1,1 до 43 ГБ. Версія 7B займає 4,7 ГБ, 14B — 9 ГБ. Повна 671B займає 404 ГБ і на домашній комп’ютер не розрахована.

Для типового ноутбука реалістичні дистильовані версії до 8B. З 32 ГБ уже пробують 14B, якщо влаштовує кілька токенів за секунду.

Що таке NPU і чи допоможе він?

NPU — це окремий блок процесора для обчислень нейромереж з низьким енергоспоживанням. Його продуктивність вимірюють у TOPS, трильйонах операцій за секунду. У травні 2024 року Microsoft визначила ноутбуки Copilot+ PC як машини з NPU на 40 TOPS і більше, 16 ГБ оперативної пам’яті й 256 ГБ накопичувача.

На вживаному ринку більшість ноутбуків вийшли раніше й NPU не мають. Для домашніх мовних моделей це некритично. llama.cpp від початку розрахований на звичайний процесор і відеокарту, підтримку NPU додали пізніше. Тож для локального чату ноутбук без NPU з достатньою пам’яттю цілком придатний.

Чи підійде старий процесор?

Старий процесор підійде, якщо він підтримує набір інструкцій AVX2. Віконний застосунок з нашого порівняння на Windows з процесорами x64 без AVX2 не запускається. Intel додала AVX2 в архітектурі Haswell, яка вийшла 2013 року, тож ноутбуки старшого віку з цим застосунком несумісні.

Підтримку AVX2 видно в описі моделі процесора на сайті виробника або в безкоштовних утилітах на кшталт CPU-Z, у рядку інструкцій.

Чому модель довго стартує?

Перед першою відповіддю програма читає файл моделі з накопичувача в пам’ять. Інтерфейс SATA III теоретично пропускає до 600 МБ/с, тож модель на 5 ГБ із такого SSD завантажується щонайменше за 8–9 секунд. Зі звичайного жорсткого диска старт затягується в кілька разів.

Після завантаження файл лишається в RAM, і наступні запитання вже не чекають на диск. Ollama за замовчуванням тримає його 5 хвилин після останнього запиту, а потім вивантажує, щоб звільнити місце. Цей час змінюють параметром keep_alive, якщо запитання йдуть з довгими перервами.

Чи справді локальна модель нічого не відправляє?

Сама модель працює без мережі, тож запитання не йдуть на сервер. Інтернет потрібен, щоб завантажити програму й файл моделі. Перевірити це легко. Вимкніть Wi-Fi після завантаження й поставте запитання. Якщо відповідь іде, генерація відбувається повністю на ноутбуці.

Що перевірити у вживаному ноутбуці під нейромережу?

Перед покупкою ми радимо пройти короткий список, бо кожен пункт прямо впливає на швидкість відповіді.

1. Обсяг оперативної пам’яті. Для 3B вистачить 8 ГБ, для 7B–8B орієнтуються на вдвічі більший обсяг.
2. Кількість планок і гнізд. Дві планки в двоканальному режимі, або вільне гніздо, щоб додати другу.
3. Процесор з AVX2. Без цього частина програм не запуститься.
4. Окрема відеокарта та її пам’ять. Обсяг виділеної відеопам’яті видно в диспетчері завдань у розділі «Графічний процесор».
5. Місце на накопичувачі. Кожна модель займає від одного до десятків гігабайтів, тож кілька моделей легко забирають 20–30 ГБ.
6. Охолодження. Під час генерації процесор і відеокарта працюють під повним навантаженням хвилинами.

Охолодження перевіряють довгою генерацією, 10–15 хвилин поспіль. Нормально, коли вентилятори виходять на високі оберти й тримають рівний шум. Дефект — коли швидкість відповіді через кілька хвилин падає, а корпус над клавіатурою стає гарячим. Так процесор знижує частоту від перегріву, і причиною часто буває пил у радіаторі чи висохла термопаста. Для довгої роботи ноутбук ставлять на підставку, яка відкриває доступ повітря до нижніх отворів.

Які моделі реально запустити на ноутбуці?

На ноутбуці з 8 ГБ RAM без проблем запускаються версії 1B–3B. Вони пишуть короткі тексти, перекладають і відповідають на прості запитання. З удвічі більшим обсягом і двома планками стають доступні варіанти 7B–8B, які впевненіше тримають довгу розмову й код.

Версії 70B у стиснутому вигляді займають понад 40 ГБ. Для них потрібен стаціонарний комп’ютер з великим обсягом пам’яті, звичайний ноутбук їх не вмістить. Тож реалістичне завдання для вживаного ноутбука — особистий помічник для текстів, нотаток і перекладу, який працює без мережі.

Як підібрати ноутбук під локальний ШІ в Choicy?

Шукайте вживаний ноутбук за трьома параметрами з нашого списку. Обсяг пам’яті, кількість планок і наявність окремої відеокарти зазвичай видно з характеристик і фото. Кожен ноутбук у Choicy проходить перевірку стану перед продажем, а на сторінці товару є реальні фото саме цього екземпляра.

Гарантія 40 днів дає час встановити свою програму, завантажити модель і заміряти швидкість відповіді на власних задачах. Якщо старий ноутбук уже не тягне нові задачі, його можна здати через Trade-In. Коли пам’яті вистачає й обидва канали зайняті, модель гортає свою «книжку» помітно швидше, і відповідь іде рівним потоком.