image-6335787

Langtail – vylaďte a otestujte své prompty

Jestli vyvíjíte nějaký AI nástroj, možná řešíte problém, jak vyladit a otestovat své prompty a ověřit že se i na produkčním prostředí chovají jak mají. Právě vás by mohl zajímat Langtail. 

Uveřejněno

Rubrika

Autor

Jednou z mých priorit je podpořit a propagovat šikovné české týmy a zajímavé nástroje. Jedním z nejzajímavějších je za mě určitě startup Langtail, který založili zakladatelé velmi úspěšného projektu Avocode.

Jejich stejnojmenný produkt Langtail, který řeší několik palčivých problémů, které trápí vývojáře AI, testuji už nějakou dobu a proto jsem udělal rozhovor s jejich CEO Petrem Brzkem, aby vám jejich nástroj představil. 

Zároveň mám pro vás jeden malý ale důležitý úkol – právě dnes představují Langtail na platformě Product Hunt – podpořte jej a dejte jim Upvote – úspěch na této známé platformě může pomoci dalšímu rozvoji. Díky.

Krátké představení Langtail

Mohl bys nám jednoduše popsat, co je to Langtail? A mysli prosím na to, že ne všichni mí čtenáři jsou experti.

Začnu oklikou. Představ si, že chceš být v trendu a nasadíš u sebe ve firmě chatbota, aby komunikoval se zákazníky. Je to snadné, efektivní i efektní, říkáš si, jenže pak zjistíš, že po čase se chatbot nechová, jak si přeješ, například dá zákazníkovi zdarma voucher na nové auto, jako se to stalo Chevroletu.

Moje poznámka – Petr naráží na celkem známou kauzu, kdy špatně řešený AI webový chatbot jednoho amerického autoprodejce klidně prodal auto za dolar. Podobných případů je mnoho a málokterá firma jim umí předcházet, a na vině jsou často právě i omezené možnosti vývojářských nástrojů.

Chatbot reaguje na vstupy od lidí různě a pokud není správně instruovaný a otestovaný, může se chovat všelijak. A proto je tu Langtail. Aby včas odhalil nežádoucí reakce chatbota, aby ho mohl důkladně testovat a průběžně kontrolovat. A taky abys věděl, kolik tě to všechno stojí.

V nejbližší době začne Langtail podporovat i další známé jazykové modely různých poskytovatelů, nejen OpenAI,  takže nebudeš závislý na cenách a kvalitě jednoho poskytovatele a modelu a budeš je moci mezi sebou i porovnávat..

image-6335787
Debugování promptů s pomocí Langtail

Kdo je tedy typickým zákazníkem a kolik přibližně zaplatí za využívání vašich služeb?

Typickým zákazníkem Langtailu jsou technologické startupy, digitální marketingové agentury a vývojáři softwaru, kteří integrují AI do svých produktů a služeb, jako jsou chatboti, systémy pro zodpovídání dotazů a generování obsahu. Tyto firmy často působí v oblastech jako e-commerce, zákaznická podpora, média a vzdělávání.

Nabízíme self-served plán za $100 měsíčně, který je ideální pro menší týmy a startupy. Pro větší organizace nebo firmy s konkrétními požadavky nabízíme enterprise plán, který je přizpůsobený potřebám zákazníka.

Náš cenový modelnení založen na počtu uživatelů v týmu. Naopak chceme, aby ideálně všichni relevatní lidi mohli být v Langtailu a spolupracovat při vývoji.

Pro nové uživatele a firmy, které s AI teprve začínají, nabízíme také bezplatný plán, který umožňuje vyzkoušet naše nástroje a zjistit, jak mohou přinést hodnotu pro jejich projekty.

image-7064078
Produkční monitoring – ověřování promptů, které zadali uživatelé a odpovědí modelů

Jak nápad založit Langtail vlastně vznikl? A máte nějaké signály z trhu, že je ten nápad byznysově zajímavý?

Vznik Langtailu byl přirozeným vyústěním několika věcí. Když v roce 2021 OpenAI vydalo GPT3, bylo mi jasné, že lidstvo konečně přišlo s nějakou průlomovou technologií. Byl to první skok do toho, že jazykové modely můžou být opravdu sofistikované a ne jen jakási hračka pro vědce.

Od té doby se o vše kolem jazykových modelů aktivně zajímám. Na začátku roku 2023 se shodou okolností v newyorské firmě Ceros, která koupila Avocode a kde jsem tehdy pracoval, začal vyvíjet AI asistent, přičemž jsme okamžitě narazili na nedostatek adekvátních nástrojů: chyběly vhodné nástroje pro debugování, testování, kolaboraci.

Zároveň jsem se ve své tehdejší pozici necítil smysluplně, cítil jsem potřebu svobodně tvořit něco, co považuju za prospěšné. A tehdy jsem po večerech a o víkendech začal programovat něco, co jsme později pojmenovali Langtail. Je to nástroj pro všechny, kteří chtějí tvořit své vlastní AI produkty, ale nechtějí nebo nemají čas vyvíjet si potřebné nástroje sami.

Avocode byl v podstatě podobným typem služby. To je něco, co nás baví, co umíme. Do dnešní podoby bych samozřejmě Langtail nedostal sám, v samém začátku se ke mně přidal Tomáš, později i Martin a další bývalí kolegové z Avocodu.

Co se týká signálů z trhu, můžu jich jmenovat několik. Nejzásadnějším jsou první platící zákazníci (mezi nimi i Ceros). Dalším ukazatelem je poměrně velká konkurence, která naštěstí není příliš precizní ve vývoji. Důležitým signálem a zároveň jakýmsi posvěcením byla ochota do nás zainvestovat.

rv8_8329-2440025
Langtail tým

Jak konkrétně jste investora hledali? Nebo si našel on vás?

Většina z investorů se ozvala sama. Probíhaly meetingy, jenže velmi málo VC fondů tomuto odvětví rozumí, a proto pro ně byla investice příliš riskantní, nechtěli být prvními, kdo zainvestuje. Některé investory jsme odmítli sami. Nakonec nás podpořil Zdeněk Cendra ze CDN77.

Jaké jsou vaše plány pro rozvoj Langtailu? Na jaké nové funkce se mohou uživatelé těšit?

Už jsem zmiňoval integraci vícera poskytovatelů. První podpoříme Anthropic, po něm začleníme Google Gemini, LLAMA3, Mistral a jsme připraveni integrovat i nové poskytovatele, které se v tomto rychle rostoucím odvětví případně objeví.

Dále budeme zdokonalovat testování. Marketingová oddělení by třeba mohlo zajímat, zda je chatbot dostatečně přátelský a zábavný. Jiný tým může zajímat, zda chatbot odpovídá pravdivě nebo jak chatbot zareaguje na nepředvídatelný vstup (nadávka, záměrně nesmyslné sdělení apod.)

Hodně důležité je testování ve chvíli, kdy je potřeba z nějakého důvodu upravit prompt. Testováním lze zachytit změny, jak se chatbot chová při použití původního a upraveného promptu.

Nabídneme několik možností:  LLM evaluaci, což je stav, kdy se LLM chová jako arbitr, který rozhoduje o tom, jestli odpověď odpovídá uživatelem zadaným kritériím. Zároveň nabídneme možnost human evaluation, kdy je tímto arbitrem člověk. Chceme také integrovat real-time testy, které budou varovat přesně v momentě, kdy chyba živě nastane. 

Největší transformace Langtailu souvisí s nedávným vydáním druhé verze API asistentů od OpenAI. Chystáme se je v Langtailu podporovat a umožnit tak nejen jejich testování, ale hlavně generování hotových chatbotů. Tím získá Langtail zcela nový rozměr, protože je to něco, čím chceme oslovit nejen vývojáře, ale také netechnické lidi, například z marketingu.

Vznik Langtailu jsem zaregistroval už pár měsíců zpátky, kampaň na Product Hunt spouštíte až nyní. Proč jste s představením čekali až do teď? Je za tím nějaká zvláštní strategie?

Ano, je to strategie. Product Hunt už není, co to bývávalo. Člověk za sebou nemusel mít obří komunitu, která ho podporuje, stačilo mít dobrý produkt a organická komunita odhlasovala to, co se jí opravdu líbilo. Dnes je to o tom, kdo má víc kamarádů. Pořád ovšem Product Hunt funguje dobře jako marketingová aktivita pro visibilitu a validaci dané věci.

S tím souvisí fakt, že je potřeba se na ni připravit. My se budeme snažit nejen ukázat smysluplnost Langtailu, ale také se odlišit od konkurence. Z toho důvodu jsme například připravili celkem nečekaný videospot. A samozřejmě budeme moc rádi, kdys nás podpoříte.

screenshot_25-4-2024_14721_www-producthunt-com_-4658101

Poznámka: Podpořit Langtail na product Hunt je jednoduché – jděte na stránku kampaně a vpravo nahoře klikněte na Upvote. Jestli tam ještě nejste zaregistrovaní, bude to po vás chtít přihlášení pomocí některé ze sociálních služeb.


Zajímá vás vývoj AI aplikací případně využití AI při vývoji?

Co na Langtail říkáte? Připravuji mimochodem s dalšími odborníky školení zaměřená na vývoj AI aplikací, kde určitě chceme ukázat právě i využití Langtail, a další školení zaměřená na využití AI při vývoji aplikací (a nástroje Github Copilot a podobně). Jestli by vás to zajímalo, určitě se předběžně zaregistrujte.

Nové články sem přidávám porůznu, tak jestli nechcete, aby vám něco uniklo, přidejte si můj feed do RSS čtečky, sledujte můj Twitter, Facebook a LinkedIn, případně si nechte nové příspěvky posílat mailem (žádný spam!)