Как подключить ИИ локально

Ollama и LM Studio на Windows: что скачать, что нажать, если нет мощной видеокарты.

Локальный ИИ - это когда программа с «мозгом» работает на вашем компьютере, а не в облаке. Запросы не уходят на сервер OpenAI или Сбера. Это удобно для личных заметок и когда интернет слабый, но нужна видеокарта или терпение.

Облачный чат и локальный - в чем разница

Облако (GigaChat, ChatGPT)Локально (Ollama, LM Studio)
РегистрацияАккаунт на сайтеУстановка программы на ПК
ИнтернетНужен почти всегдаПосле загрузки модели можно без сети
Качество ответовТоп-модели (GPT-4o и др.)Проще, но для черновиков хватает
ЖелезоЛюбой ноутбук с браузеромЛучше ПК с видеокартой NVIDIA 8+ ГБ

Подойдет ли вам локальный ИИ

Отметьте себе:

Способ 1: Ollama (рекомендуем новичкам на Windows)

Самый короткий путь к чату на своем ПК.

  1. Скачайте установщик: ollama.com/download (Windows).
  2. Установите как обычную программу, дождитесь окончания.
  3. Откройте «PowerShell» или «Терминал» (Win + X → Windows PowerShell).
  4. Введите команду и нажмите Enter:
    ollama run llama3.2
    Первый раз модель скачается (несколько гигабайт). Название модели на сайте Ollama может обновиться - смотрите актуальный список.
  5. Когда появится приглашение >>>, напишите вопрос по-русски и нажмите Enter.
  6. Чтобы выйти: /bye или Ctrl+C.
Если тормозит: модель тяжелая для вашей видеокарты. Попробуйте меньшую, например ollama run phi3 (имя уточняйте в каталоге Ollama).

Способ 2: LM Studio (окно с кнопками, без команд)

  1. Скачайте LM Studio.
  2. Вкладка поиска моделей → фильтр по размеру 7B-8B → скачайте одну модель.
  3. Кнопка «Load model» → откройте вкладку Chat → пишите запросы.

Удобно тем, кто не хочет работать в терминале.

Картинки на своем ПК (сложнее)

Для генерации изображений локально используют Stable Diffusion через интерфейсы Automatic1111 или ComfyUI. Это уже не «за 10 минут»: нужна мощная видеокарта и время на настройку. Обзор в каталоге Neuralka / Нейралка.

Расшифровка аудио: Whisper

Можно локально переводить запись встречи в текст. На слабом ПК будет медленно; в облаке быстрее, но файл уходит на сервер.

Когда локальный ИИ не стоит усилий

Частые вопросы

Это бесплатно?

Сами программы Ollama и LM Studio - да. Платите только электричеством и своим временем. Подписки за облако не нужны.

Безопасно ли для рабочих документов?

Данные не уходят в интернет, пока модель локальная. Но копии файлов все равно хранятся на вашем диске - защищайте ПК как обычно.

Что делать, если Ollama пишет ошибку про GPU?

Обновите драйвер NVIDIA или выберите модель меньше. На CPU Ollama тоже работает, но медленно.