Je Anthropic Claude lepší než ChatGPT a Google Bard?

Jazykový model od firmy Anthropic (či ANTHROP\C) Claude je mnohem méně známý než (Chat)GPT, Google Bard či třeba Meta (Facebook) LLAMA.

A je to velká škoda, protože alespoň podle mého názoru často poráží ty ostatní a můžete jej používat zdarma. Nevýhodou je zatím omezená dostupnost jejich webového rozhraní i API pro USA a Velkou Británii, ale lze to obejít tím, že budete používat jejich bezplatný plugin do Slacku, případně přes nějaké VPN.

A neznamená to, že by neuměl Česky – mluví i rozumí jestli ne lépe, tak minimálně srovnatelně s GPT-4 i Google Bard, mnohem lépe než Meta LLAMA.

Schválně jsem mu zkusil položit stejných 12 dotazů, jako Petr Koubský ve svém článku pro Deník N „Dvanáct úkolů pro umělou inteligenci. Hodí se pro vás víc GPT, Bard, nebo Bing? Nabízíme velké porovnání“ (přístupný za paywallem).

Srovnejte odpovědi z Anthropic Claude (Slack varianta). Jestli se nepletu jen jejich první verze, verze 2 na webu a API by měla být výrazně lepší a hlavně ji můžete dotrénovat na mnohem více datech než ostatní LLM.

1. Schopnost vysvětlit termín z různých oblastí

Zadání: Vysvětli alespoň dva významy odborného pojmu hyperbola

2. Odpověď na e-mail

Zadání: Napiš stručnou odpověď na následující mail. Vymysli nějaký důvod… (následuje e-mail, který pan Koubský dostal).

3. Znalost aktuálních dat

Zadání: Jaké hlavní politické události se odehrály v Evropě během uplynulých dvou týdnů

4. Encyklopedická znalost málo známého a publikovaného faktu a hledání časových souvislostí.

Zadání: Mohlo se stát, že Lenin a Hitler bydleli ve stejné ulici?

5. Matematický resp. statistický výpočet

Zadání: Vytáhneme-li z karetní hry o 32 kartách postupně dvě karty, jaká je pravděpodobnost, že to budou dvě esa?

6. Znalost geografických reálií a historie

Zadání: Znám muže, který se narodil v Československu, pak žil v Maďarsku, pak v SSSR, nyní žije na Ukrajině. Po celý svůj život žil v jediném městě. Jak se to město jmenuje? V kterém roce nejpozději se ten muž narodil?

7. Tvorba ekonomických hypotéz

Zadání: V roce 2009 bylo v Česku skoro 65 000 studentů technických vysokoškolských oborů, v roce 2022 je jich necelých 37 000. Čím se dá vysvětlit tak velký pokles? Navrhni možné důvody jako hypotézy, které by se daly prozkoumat.

8. Pochopení významu rčení

Zadání: Co je to poplužní dvůr. A je drzé čelo opravdu lepší?

9. Pomoc spisovateli s první větou

Zadání: Jsem spisovatel, rád bych napsal povídku ze současnosti. Nabídni mi dvě varianty první věty, ze kterých bych si mohl vybrat. Důležité je, aby to byla inspirativní věta, na kterou se dá dobře navázat. V povídce bych rád napodobil styl, kterým psal Ernst Hemingway.

10. Identifikace autora textu a překlad

Zadání: Identify the author and title of the book from the following excerpt. Translate it into Czech… (následuje citace)

11. Hledání stylistických chyb a zlepšení textu

Zadání: Přečti si následující text. Najdi v něm stylistické chyby a nedostatky. Pak ho přepiš, aby byl čistý, čtivý, srozumitelný, aby neobsahoval dlouhá složitá souvětí. Zlepši jeho kvalitu… (následuje text článku, který pan Koubský nedávno zveřejnil).

12. Tvorba nadpisu a shrnutí k textu

Zadání: Přečti si následující text, poté k němu navrhni titulek, napiš jeho souhrn jednou větou. Titulek by měl být čtivý, zajímavý, měl by přilákat pozornost čtenáře. Souhrn by měl co nejpřesněji vystihnout obsah článku.

Poznámka – na tohle téma jsem napsal samostatný článek Prompt Engineering ChatGPT prakticky – zpřehlednění a sumarizace textu pro sociální sítě, určitě doporučuji k přečtení, ukazuje použití pokročilejších dotazů, která vám mohou zlepšit výsledky a ušetřit hodně času s další editací.

Jak se vám odpovědi Anthropic Claude líbí? Petr Koubský ohodnotil jednotlivé modely na 5 bodové škále, je to samozřejmě hodně subjektivní, osobně bych jej viděl na úrovni nejlepšího, GPT-4 (až na otázku 4, kde GPT dost výrazně překvapil).

Síla Anthropicu je ale i v tom, že zvládne mnohem delší prompt, resp. mnohem déle udržet pozornost, takže byste jej dokázali mnohem lépe doučit danou oblast a věřím, že by pak dominoval.

A mimochodem – všechny dotazy mají jedno společné – šli by dost výrazně vylepšit a dostat tak lepší odpověď. Ať už menší úpravou otázky, jak ukazuji v Doplnění k článku „Dvanáct úkolů pro umělou inteligenci“, tak pokročilým dotazem, jak ukazuji v článku Prompt Engineering ChatGPT prakticky – zpřehlednění a sumarizace textu pro sociální sítě.

Souhlasíte s mým hodnocením? Dokázali byste dotazy položit líp? Dejte vědět na sockách a nezpomeňte mě při tom nasdílet či lajkovat. 🙂