Lokálně provozovaná umělá inteligence na vašem vlastním HW
Pohrávám si totiž s možností využití lokálně provozovaných AI modelů na našem vlastním hardware (našich běžných PC) pro účely SHTF a post-SHTF situací.
Mnozí z nás jsme si zvykli z cloudových AI jako ChatGPT, Claude, Gemini, Copilot čerpat vědomosti, brainstormovat nebo si nechávat dělat výpočty.
Při SHTF bychom o tohle přišli, ale existuje možnost si stáhnout menší modely přímo k sobě do počítače a provozovat si je lokálně.
Funguje to takhle:
- Stáhnete a nainstalujete si program LM Studio (ne Bionic) - to je prostředí sloužící k otevírání a interakci s AI modelem (open source alternativa je Jan, ale s tím nemám zkušenost)
- Stáhnete si vhodný AI model z HuggingFace buď po vlastní ose nebo lépe přímo v LM Studiu, které vám navíc řekne, která konkrétní varianta daného modelu je nejvhodnější pro Váš PC.
- Dále s modelem pracujete jak jste zvyklí z ChatGPT, Claude apod.
- Pro výpočty v LM studiu zapnete možnost vyžít plugin JavaScript (js-code-sandbox) a pro dokumenty (rag-v1) - oba jsou už integrované. Některé modely se nestáhnou s rozšířením pro chápání obrázků, pak je potřeba do stejné složky, kde jsou v PC uloženy ručně stáhnout ještě soubor mmproj z příslušného repozitáře.
- TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF - Relativně velká verze Gemma 4, ale protože je to MoE, běží ještě docela svižně - můj "hlavní" model na PC s 32GB RAM
- TrevorJS/gemma-4-12B-it-uncensored-GGUF - má <8GB, takže se mi na PC celý vejde do VRAM (rychlé RAM na grafické kartě)a tím pádem běhá hodně rychle. Na notebooku musí do běžné (pomalé) RAM a na něm je to ten největší model, který se do notebooku rozumně vleze
- HauhauCS/Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP - největší a tudíž "nejlepší" varianta Gemma, která se mi vleze do stolního PC, velmi pomalý
- JonathanColetti/Qwen3.8-27B-Uncensored-GGUF - největší a tudíž "nejlepší" varianta Qwen, která se mi ještě vleze do stolního PC, velmi pomalý
- llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic-GGUF - malý a rychlý, vhodný pro můj notebook, ale odpovídá tomu (ne)kvalita
- Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF - ještě o něco menší, rychlejší a hloupější, používám na notebooku
- Nemám téměř žádné zkušenosti se základními verzemi modelů, atomaticky stahuju vždy ty odcenzurované verze. Takže neumím říct, jestli je mezi nimi nějaký výrazně citelný rozdíl, samozřejmě kromě ochoty odpovídat na zakázané dotazy.
- Maximální velikost modelu je daná velikostí RAM v počítači + VRAM na grafické kartě.
- Model je tím pádem oproti těm "velkým" v obřích datacentech maličký a tedy poměrně hloupý.
- Prakticky se to projeví tím, že má jen relativně obecné a povrchní znalosti
- Když po něm budete chtít detailní znalosti, bude mít sklon vymýšlet si (jako žák u tabule, který se snaží mluvit za každou cenu, i když neví)
- Na výsledky si počkáte
- Čím větší model, tím lepší, ale také pomalejší, obzvlášť, když je jeho většina v RAM a ne grafické VRAM.
- Třeba model, který se mi tak tak vejde do 32GB RAM + 8GB VRAM dává kvalitnější odpovědi, ale také je produkuje rychlostí jen slovo až dvě za sekundu. Oproti tomu prťavý model, který se celý vejde do VRAM, chrlí odpovědi docela rychle, ale s nižší kvalitou.
- Znalosti těch běžných volně dostupných modelů (Gemma a Qwen) jsou IMHO nejvíce zaměřené na programování, matematiku a obecně STEM vědní obory, znalosti a schopnosti z jiných oblastí jsou méně podrobné.
- AI s malým modelem je potřeba hodně intenzivně "vodit za ručičku" a vysvětlovat mu každý aspekt úkolu jako blbečkovi. Nelze tolik spoléhat na to, že si potřebné domyslí nebo dozjistí jako v případě předních velkých cloudových služeb.
- Češtinu zvládají a rozumí jí, ale občas nějaké slovo zkomolí.
- Celý model běží u vás, bez internetu, dokud máte počítač a elektřinu, máte k dispozici AI. Většinou i včetně schopnosti porozumět poskytnutým obrázkům a dokumentům.
- Můžete používat "odcenzurované" verze modelů, které se s vámi budou ochotny bavit o věcech, které by ChatGPT i původní základní verze malého modelu odmítly z bezpečnostních důvodů.
- Mívají v názvu něco jako "uncensored, abliterated, heretic" a nejsou všechny srovnatelné. Proces odcenzurování obnáší "přeučení" a různým autorům se to daří dělat s různou mírou úspěšnosti a dopadu na zachování "inteligence" modelu.
- xB (např. 4B, 12B, 27B) – počet parametrů modelu v miliardách. Vyšší číslo obvykle znamená větší schopnosti, ale také vyšší nároky na RAM/VRAM a nižší rychlost. (Jak velký je "mozek".)
- Qx (Q4, Q5, Q6...) – úroveň kvantizace, tedy s jakou přesností jsou váhy modelu uložené. Nižší Q = menší a rychlejší model, ale větší ztráta kvality. Q4 bývá dobrý kompromis, Q5/Q6 zachovává více původní kvality. (Jak přesně je "mozek" uložen.)
- IT / Instruct – Instruction-Tuned. Model byl dodatečně naučen fungovat jako asistent a plnit příkazy; pro chat je obvykle vhodnější než „Base“ model.
- Uncensored / Abliterated / Heretic – komunitně upravená varianta, u které bylo potlačeno naučené odmítání citlivých dotazů. Neznamená automaticky vyšší kvalitu ani odstranění politických či jiných biasů.
- Dense – při generování se používá prakticky celý model. Např. 27B dense znamená, že se na každém tokenu počítá všech ~27B parametrů. Obvykle kvalitní, ale výpočetně náročné.
- MoE (Mixture of Experts) – model má mnoho parametrů, ale pro každý token aktivuje jen část z nich. Např. 26B-A4B znamená zhruba 26B parametrů celkem, ale asi 4B aktivních. Výhoda: Velký model, ale rychlejší práce.
- Thinking – režim, ve kterém model před finální odpovědí věnuje více výpočtu internímu uvažování a mezikrokům. Pomáhá hlavně u matematiky, logiky, programování a složitých technických problémů, ale žere víc paměti a času
- mmproj – pomocný soubor používaný u některých GGUF modelů. Převádí výstup z obrazové části modelu do reprezentace, které rozumí hlavní jazykový model, takže může zpracovávat obrázky. Není univerzální.
- Gemma 4 – otevřená rodina modelů od Google/Google DeepMind. Zaměřená na univerzální použití, multimodalitu, reasoning a efektivní lokální provoz; existují dense i MoE varianty, např. 26B-A4B.
- Qwen 3.8 – otevřená rodina od čínského týmu Qwen/Alibaba. Silný důraz na programování, reasoning, práci s nástroji a dlouhé agentní úlohy; např. Qwen3.8-27B je dense multimodální model s podporou obrázků/videa a thinking režimu.
- Návrh antény v Gemma-4-26B-A4B-it