Otevřené AI modely: co to je a proč na nich záleží

Možná jste v posledních dnech zaslechli, že francouzský Mistral koncem října „uvolní váhy“ svého nového modelu, nebo že si nějaký model můžete „stáhnout z Hugging Face“. Co to znamená a proč by to mělo zajímat i běžného uživatele? Vysvětlíme to bez technického žargonu.

Ve zkratce

• Uzavřený model (ChatGPT, Gemini, Claude) používáte jen přes službu firmy, která ho vyvinula.
• Otevřený model (open-weight) si můžete stáhnout a provozovat sami, na počítači nebo na firemním serveru.
• Výhody: data nikam neodcházejí, model funguje i offline a neplatíte za každý dotaz.
• Nevýhody: potřebujete výkonný hardware, menší modely bývají slabší a musíte si pohlídat licenci.

Co jsou „váhy“ modelu

Jazykový model je v podstatě obrovská sada čísel, kterým se říká parametry nebo váhy. Při tréninku se tato čísla nastavují tak, aby model dobře předvídal další slovo (přesněji token). Všechny „znalosti“ i „dovednosti“ modelu jsou uložené právě v nich. Základní pojmy vysvětlujeme v článku Token, model, kontextové okno.

• Uzavřený model: váhy má jen firma. Vy pošlete dotaz přes internet a dostanete odpověď.
• Otevřený model (open-weight): firma váhy zveřejní, typicky na webu Hugging Face, což je největší „knihovna“ otevřených AI modelů. Model si stáhnete a spustíte sami.

Pozor, není to totéž co open source: „otevřené váhy“ automaticky neznamenají, že je zveřejněné všechno, třeba trénovací data. A hlavně neznamenají, že model smíte použít jakkoli. O tom rozhoduje licence.

Příklady z posledních dnů

• Mistral Large 4 od francouzského Mistralu má bilion parametrů. Mistral slíbil zveřejnit váhy do konce října. Podrobnosti najdete v našem článku Mistral Large 4.
• LFM2.5-24B-A2B od Liquid AI je ke stažení na Hugging Face a je navržený tak, aby rychle běžel i na běžném počítači. Návod pro pokročilé najdete v článku LFM2.5: lokální AI agent.
• Gemma od Googlu je otevřený model, který Google DeepMind doladil na odhalování podvodů přímo v telefonu. Víc se dočtete v článku DeepMind a detekce podvodů.

Proč na otevřených modelech záleží

1. Soukromí. Když model běží u vás, vaše data nikam neodcházejí. Pro firmy, které řeší GDPR nebo obchodní tajemství, je to zásadní.
2. Nezávislost. Firma, která má model u sebe, nepřijde o přístup, když poskytovatel změní ceny, podmínky nebo službu vypne. Mistral to u svého modelu výslovně zdůrazňuje v souvislosti s kybernetickou bezpečností.
3. Cena. Neplatíte za každý dotaz, jen za hardware a elektřinu.
4. Úpravy na míru. Otevřený model můžete doladit na vlastních datech, jako to udělal Google s Gemmou pro podvodné zprávy.
5. Evropský rozměr. Evropské firmy jako Mistral vidí v otevřených vahách cestu k „AI suverenitě“, tedy k menší závislosti na amerických službách.

Háčky, o kterých se moc nemluví

• Hardware. Velké modely potřebují výkonné grafické karty nebo servery. Model s bilionem parametrů na notebooku nespustíte. Menší modely ano, ale bývají slabší.
• Čeština. Ne každý otevřený model umí česky. Například LFM2.5-24B-A2B má podle své karty 16 podporovaných jazyků a čeština mezi nimi není.
• Licence. Podmínky se model od modelu liší. Mistral například ve FAQ uvádí, že jeho otevřené modely (jako Mistral 7B) smíte pod licencí Apache 2.0 používat pro výzkum a pro sebe, na komerční nasazení ale potřebujete licenci od Mistralu. Před firemním použitím si licenci vždy přečtěte.
• Údržba a bezpečnost. O aktualizace, zabezpečení a kontrolu výstupů se staráte sami.

Jak otevřený model vyzkoušet

Bez instalace: Mnoho otevřených modelů si můžete vyzkoušet přímo v prohlížeči. Mistral má například vlastní aplikaci a vývojářské rozhraní Mistral Studio.

Na vlastním počítači: Pro začátečníky jsou nejjednodušší aplikace pro počítač jako LM Studio, které Liquid AI uvádí mezi nástroji, v nichž jeho model funguje. Postup bývá takový:

1. Nainstalujte aplikaci.
2. Vyhledejte v ní model (začněte malým, s několika miliardami parametrů).
3. Stáhněte ho a začněte psát jako v běžném chatu.

Tip: první zkušební dotaz zadejte česky. Hned uvidíte, jak model zvládá náš jazyk.

Náš pohled

Pro běžné psaní a hledání informací jsou ChatGPT, Gemini nebo Claude pořád pohodlnější. Otevřené modely ale rychle dotahují a pro firmy, které chtějí mít data pod kontrolou, jsou čím dál schůdnější volbou. Kdo chce AI porozumět do hloubky, měl by si aspoň jeden otevřený model vyzkoušet. Než začnete do jakéhokoli modelu vkládat citlivá data, přečtěte si i náš článek o soukromí v AI chatbotech.

Článek vznikl s pomocí AI a před publikací ho zkontrolovala redakce Promptovna.cz.