Jaké jazykové modely (LLM) využíváme v AddAI

Jazykové modely, jako jsou LLM, jsou pokročilé nástroje generativní umělé inteligence, které dokáží porozumět textu a generovat jej, což umožňuje vytvářet přirozené konverzace. 

Využití jazykových modelů v AddAI 

U nás v AddAI jich používáme už 12 a věříme, že v blízké době jich může být daleko více. Při výběru modelu klademe velký důraz na aspekty bezpečnosti, ceny a správného využití daného modelu v místech, kde jsou jeho silné stránky. Hledáme pro každé využití ten správný a také samozřejmě pžihlížíme individuálním přáním každého klienta. Určitě v dnešní době neplatí, že každý model se hodí pro stejné využití. A jaké modely tedy využíváme? 

Modely GPT (OpenAI či Azure)
 

GPT-4 od společnosti OpenAI, představený v Q2 2023, stále představuje vrchol schopností velkých jazykových modelů, ať už se jedná o tvůrčí psaní, vedení konverzace nebo hraní rolí. 

GPT-4 je pro použití s koncovými zákazníky z těchto modelů nejdražší. Proto se nabízí použití modelů jako GPT-4 Turbo nebo novější GPT-4o. Mají své výhody (cena, rychlost, u GPT-4o multimodalita), ovšem v některých věcech mohou reagovat jinak nebo hůře než původní GPT-4 (GPT-4o má například tendenci psát delší popisy a vysvětlení a oproti GPT-4 při delších instrukcích hůře formátoval výstup; je potřeba otestovat pro konkrétní použití, který model je lepší a na co). 

GPT-4 v AddAI rádi používáme pro pokročilé aplikace jako jsou dlouhé prompty typu MagicFlow. Na Smalltalk je často vhodná rychlejší a levnější GPT-4 Turbo. Pro psaní reportů na základě existujících dat nebo pro hodnocení konverzací na základě instrukcí se ukázala vhodná GPT-4o. 

Tyto modely jsou vhodné na vstup i výstup v českém jazyce, ovšem někdy si ani ony neodpustí jazykové hrubky. Je tak možné je používat na jednoduché překlady, u složitějších je stále potřeba supervize. 

Výhody GPT-4: vysoká kvalita, porozumění. 

Nevýhody GPT-4: Cena. U původního základního modelu rychlost. 

A jaké jsou jejich ceny k dnešnímu datu? 

• GPT-4: $60.00 / 1M tokens 
• GPT-4 Turbo: $30.00 / 1M tokens 
• GPT-4o: $15.00 / 1M tokens 

Modely Llama od společnosti META
 

Z pohledu nejčastějšího využití jsou u nás hned za modely GPT. Oba modely ve verzi 2, které využíváme (Llama 2 8b/70b Llama 2) jsou ve svém základu opensource a jsou customizovatelné, tzn. nabízí širší možnosti modifikací než modely od OpenAI. Llama 2 je výrazně levnější než GPT-4 a je vhodná zejména na vstup i výstup v anglickém jazyce. Model byl představen: 18.7.2023. 

Llama 3 8b/70b Podobně jako Llama 2 nabízí Llama 3 možnosti úprav a je stále cenově výhodná. Umožňuje generovat text kvalitně už ve více jazycích, takže je dobře vhodná i pro použití v češtině. V určitých oblastech je tak srovnatelná s GPT-4. Model byl představen 18.4.2024. 

Výhody LLAMA modelů: Cena. Dostupnost. U Llamy 3 znalost jazyků včetně češtiny. 

Nevýhody LLAMA modelů: Llama 2 již na některá použití nedostačuje. 

A jaké jsou jejich ceny k dnešnímu datu? 

• Llama 3 8B: $0.60 / 1M tokens 
• Llama 3 70B: $1.81 / 1M tokens 

 
Ostatní využíváné modely  
 

GPT 3.5 turbo je na jednoduchá shrnutí textů stále vhodná. Také dokáže na základě vstupních dat dobře vysvětlovat některé koncepty. Co se týče použití v komunikaci s klienty typu smalltalk, to už nedoporučujeme, zejména ne v češtině. Aktuální model vyšel 25.1.2024 a stojí $1.50 / 1M tokens. 

Granite 13b / 20b je model známý pro svou schopnost generovat texty s vysokou přesností a kvalitou. Je ideální pro úkoly, které vyžadují podrobné shrnutí nebo generování textu. Ačkoli není určen k psaní kódu, jeho schopnosti v oblasti zpracování přirozeného jazyka jsou vynikající. U nás používáme granite-13b-instruct-v2 a granite-20b-multilingual. 

Mixtral 8x7b založený na Sparse Mixture of Experts, je model, který se vyznačuje vysokým výkonem na většině testovaných benchmarků. Jeho jedinečnost spočívá v tom, že vyžaduje specifický formát instrukcí pro optimální výstupy. To znamená, že pokud jsou instrukce dodrženy, tento model může generovat výsledky, které jsou výrazně lepší než u jiných modelů. 

Flan UL2 20b je model, který byl vylepšen tak, aby lépe zvládal úkoly, kde je potřeba pochopit kontext z několika málo příkladů. To znamená, že je schopen generovat přesné a relevantní výstupy i při práci s omezeným množstvím dat. To ho činí ideálním pro úkoly, které vyžadují hluboké porozumění kontextu. 

Tabulka s přehledem všech námi využívaných modelů náš pohled na jejich rychlost a kvalitu