Стейт оф ИИ

Локальные модели

Зачем

• Бесплатно
• Обход цензуры

Как

• huggingface - хранилище моделек
• LM Studio - GUI для моделек
• Ollama - CLI для моделек

Базовый воркфлоу

• Качаем LM Studio
• Качаем модельку
• ...
• Профит

Нюансы

• Модели могут быть огромными, напр. Qwen3.8-27B-Uncensored-GGUF - то есть даже не запустятся
• Чтобы оно заработало надо пробовать разные модели квантизации, напр. вместо дефолтной Q8_0 стоит попробовать Q4_K_M
• Также стоит выставлять GPU Offload в районе 26 (при 32 гб озу и видухой типа 2080 ti)
• А так гугл в помощь

Агенты

• Harness для моделек - контекст, спеки, скиллы, выполнение команд, mcp, ... - всякие обвязки для ии
• Коммерческие: Cursor, Claude, Codex - готовое решение за ваши деньги
• Опенсурсные: OpenCode, Pi - бесплатно + можно локальные модельки