Jaké jazykové modely (LLM) využíváme v AddAI
Jazykové modely, jako jsou LLM, jsou pokročilé nástroje generativní umělé inteligence, které dokáží porozumět textu a generovat jej, což umožňuje vytvářet přirozené konverzace.
Využití jazykových modelů v AddAI
U nás v AddAI jich používáme už 12 a věříme, že v blízké době jich může být daleko více. Při výběru modelu klademe velký důraz na aspekty bezpečnosti, ceny a správného využití daného modelu v místech, kde jsou jeho silné stránky. Hledáme pro každé využití ten správný a také samozřejmě pžihlížíme individuálním přáním každého klienta. Určitě v dnešní době neplatí, že každý model se hodí pro stejné využití. A jaké modely tedy využíváme?
![ChatGPT-4-ezgif.com-webp-to-jpg-converter](https://addai.life/wp-content/uploads/2024/07/ChatGPT-4-ezgif.com-webp-to-jpg-converter.jpg)
Modely GPT (OpenAI či Azure)
GPT-4 od společnosti OpenAI, představený v Q2 2023, stále představuje vrchol schopností velkých jazykových modelů, ať už se jedná o tvůrčí psaní, vedení konverzace nebo hraní rolí.
GPT-4 je pro použití s koncovými zákazníky z těchto modelů nejdražší. Proto se nabízí použití modelů jako GPT-4 Turbo nebo novější GPT-4o. Mají své výhody (cena, rychlost, u GPT-4o multimodalita), ovšem v některých věcech mohou reagovat jinak nebo hůře než původní GPT-4 (GPT-4o má například tendenci psát delší popisy a vysvětlení a oproti GPT-4 při delších instrukcích hůře formátoval výstup; je potřeba otestovat pro konkrétní použití, který model je lepší a na co).
GPT-4 v AddAI rádi používáme pro pokročilé aplikace jako jsou dlouhé prompty typu MagicFlow. Na Smalltalk je často vhodná rychlejší a levnější GPT-4 Turbo. Pro psaní reportů na základě existujících dat nebo pro hodnocení konverzací na základě instrukcí se ukázala vhodná GPT-4o.
Tyto modely jsou vhodné na vstup i výstup v českém jazyce, ovšem někdy si ani ony neodpustí jazykové hrubky. Je tak možné je používat na jednoduché překlady, u složitějších je stále potřeba supervize.
Výhody GPT-4: vysoká kvalita, porozumění.
Nevýhody GPT-4: Cena. U původního základního modelu rychlost.
A jaké jsou jejich ceny k dnešnímu datu?
- GPT-4: $60.00 / 1M tokens
- GPT-4 Turbo: $30.00 / 1M tokens
- GPT-4o: $15.00 / 1M tokens
![Meet_Your_New_Assistant_Meta_AI_Built_With_Llama_3-scaled](https://addai.life/wp-content/uploads/2024/07/Meet_Your_New_Assistant_Meta_AI_Built_With_Llama_3-scaled-1.jpg)
Modely Llama od společnosti META
Z pohledu nejčastějšího využití jsou u nás hned za modely GPT. Oba modely ve verzi 2, které využíváme (Llama 2 8b/70b Llama 2) jsou ve svém základu opensource a jsou customizovatelné, tzn. nabízí širší možnosti modifikací než modely od OpenAI. Llama 2 je výrazně levnější než GPT-4 a je vhodná zejména na vstup i výstup v anglickém jazyce. Model byl představen: 18.7.2023.
Llama 3 8b/70b Podobně jako Llama 2 nabízí Llama 3 možnosti úprav a je stále cenově výhodná. Umožňuje generovat text kvalitně už ve více jazycích, takže je dobře vhodná i pro použití v češtině. V určitých oblastech je tak srovnatelná s GPT-4. Model byl představen 18.4.2024.
Výhody LLAMA modelů: Cena. Dostupnost. U Llamy 3 znalost jazyků včetně češtiny.
Nevýhody LLAMA modelů: Llama 2 již na některá použití nedostačuje.
A jaké jsou jejich ceny k dnešnímu datu?
- Llama 3 8B: $0.60 / 1M tokens
- Llama 3 70B: $1.81 / 1M tokens
Ostatní využíváné modely
GPT 3.5 turbo je na jednoduchá shrnutí textů stále vhodná. Také dokáže na základě vstupních dat dobře vysvětlovat některé koncepty. Co se týče použití v komunikaci s klienty typu smalltalk, to už nedoporučujeme, zejména ne v češtině. Aktuální model vyšel 25.1.2024 a stojí $1.50 / 1M tokens.
Granite 13b / 20b je model známý pro svou schopnost generovat texty s vysokou přesností a kvalitou. Je ideální pro úkoly, které vyžadují podrobné shrnutí nebo generování textu. Ačkoli není určen k psaní kódu, jeho schopnosti v oblasti zpracování přirozeného jazyka jsou vynikající. U nás používáme granite-13b-instruct-v2 a granite-20b-multilingual.
Mixtral 8x7b založený na Sparse Mixture of Experts, je model, který se vyznačuje vysokým výkonem na většině testovaných benchmarků. Jeho jedinečnost spočívá v tom, že vyžaduje specifický formát instrukcí pro optimální výstupy. To znamená, že pokud jsou instrukce dodrženy, tento model může generovat výsledky, které jsou výrazně lepší než u jiných modelů.
Flan UL2 20b je model, který byl vylepšen tak, aby lépe zvládal úkoly, kde je potřeba pochopit kontext z několika málo příkladů. To znamená, že je schopen generovat přesné a relevantní výstupy i při práci s omezeným množstvím dat. To ho činí ideálním pro úkoly, které vyžadují hluboké porozumění kontextu.
Tabulka s přehledem všech námi využívaných modelů náš pohled na jejich rychlost a kvalitu
Model: | Context window length | Rychlost | Kvalita | Closed/Open-source |
GPT-4o | 128 000 | **** | **** | Closed |
GPT-4 | 8192 | ** | ***** | Closed |
GPT-4 Turbo | 128 000 | *** | **** | Closed |
GPT-3.5 Turbo | 16 385 | ***** | ** | Closed |
Granite 13b | 4096 | *** | *** | Open-source |
Granite 20b | 4096 | ** | **** | Open-source |
Llama 2 13b | 4096 | **** | ** | Open-source |
Llama 2 70b | 4096 | *** | *** | Open-source |
Llama 3 8b | 4096 | **** | *** | Open-source |
Llama 3 70b | 4096 | *** | **** | Open-source |
Mixtral 8x7b | 32 000 | *** | *** | Open-source |
Flan UL2 20b | 2048 | *** | *** | Open-source |
Další články
AddAI Event 2024 je úspěšně za námi
AddAI Event 2024 je za námiAddAI Event 2024 je za námiV minulém týdnu proběhl náš každoroční AddAI event, který se stal nejen místem pro prezentaci našich nejnovějších inovací, ale také platformou pro setkání našich stávajících i potenciálních klientů. Tento rok jsme...
Kam podle nás směřuje vývoj konverzační AI
Kam podle nás směřuje vývoj konverzační AIKam podle nás směřuje vývoj konverzační AIKonverzační AI přetváří oblast řízení zákaznických konverzací a nabízí nové inovativní způsoby jak řešit tradiční komunikační výzvy. S globálním trhem konverzační AI, který má vzrůst z...
AddAI.Life poprvé na IBM Technology Sales Kickoff 2024
Vystoupili jsme na prestižní konferenci IBM Technology Sales Kickoff 2024 v AmsterdamuAddAI.Life na konference IBM Technology Sales Kickoff 2024Na přelomu ledna a února 2024 jsme měli tu čest zúčastnit se konference IBM Technology Sales Kickoff 2024 v Amsterdamu,...