Velký test právních AI nástrojů. Podle jakých kritérií se rozhodují středně velké kanceláře, popisuje Matzner & Vítek Legal

Zdroj: Placidplace/ Pixabay

KOMENTÁŘE JIŘÍHO MATZNERA – Využití umělé inteligence je v advokacii velké téma již dlouhou dobu, nicméně nárůst nabídek AI nástrojů se rapidně zvýšil v minulém a letošním roce. Většina kanceláří a advokátů již používá zpravidla několik externích AI nástrojů, některé kanceláři si vlastní nástroje vyvíjí samy. Jaké jsou zkušenosti naší advokátní kanceláře Matzner & Vítek Legal?

Advokacie je obor, ve kterém musíme být při práci s AI významně obezřetní, stejně jako při výběru používaného nástroje. Na druhou stranu stojíme před realitou, kdy již neplatí, že tomu, kdo AI nepoužívá, ujíždí v rámci konkurence a poskytování služeb vlak. Vlak ujíždí nyní tomu, kdo ji nepoužívá efektivně, a to jak ekonomicky, tak uživatelsky. 

U nás v kanceláři Matzner & Vítek jsme pár let používali AI nástroj, který již nenaplňoval naše nároky právě v tomto směru tak, abychom dovedli na základě využití nástroje maximalizovat přínos, ze kterého v konečném důsledku mohou benefitovat naši klienti. Čím dál tím více je totiž patrné, že největší přidaná hodnota advokáta bude i do budoucna know-how, zkušenost z praxe, ale zejména práce s klientem a lidský dotek, který poskytované právní službě vtiskne. Vybírat nejvhodnější variantu AI nástroje pro advokátní kancelář v současné době je na trhu minimálně dobrodružný zážitek a vzhledem k naší dlouhodobé rešerši stavu trhu a možnosti srovnání několika AI nástrojů přinášíme naši zkušenost s tímto procesem. 

Priority a očekávání

Na začátku jsme si vytyčili priority a očekávání. Cílem bylo implementovat komplexní AI nástroj, který bude maximálně splňovat standardy advokátní mlčenlivosti, abychom měli plnou kontrolu nad tím, kde jsou naše citlivá data. 

Komplexnost AI nástroje pro nás byla zásadní z důvodu, že jsme nechtěli jít cestou více nástrojů, kdy každý bude vhodný pro jiný účel, ale jednoho komplexního funkčního nástroje, který by naplnil veškeré naše požadavky. Důvody jsou jednoduché a jsou v zásadě dva. Zaprvé je takové řešení ekonomicky nejvýhodnější. Druhým důvodem je implementace v rámci firmy, kdy dlouhodobým cílem je nástroje do kanceláře nejen přinést, ale zajistit, aby je lidi uměli správně používat a aktivně je používali. 

S tím souvisí další požadavek na uživatelskou podporu. Představa byla taková, že když nejdeme cestou, že bychom si vyvinuli vlastní AI nástroj sami, rádi bychom na druhé straně měli tým, který nás provede procesem implementace, bude s námi dlouhodobě spolupracovat na maximalizaci přínosu z takového nástroje a bude současně reagovat na dynamicky se měnící situaci na trhu, možnosti a s tím související potřeby, abychom nemuseli za rok řešit další změnu, ale čas investovat do vývoje v rámci daného nástroje. 

V neposlední řadě je důležitým faktorem cena. Škála cen na trhu je skutečně široká. Některé AI nástroje jsou zcela mimo možnosti menších, ale i středních advokátních kanceláří. Otázka, kterou si ovšem kladu je, zda cena není jediným rozdílem oproti jiným nástrojům, které jsou v tomto směru daleko dostupnější. Tím spíše, že v některých případech se ani nejedná o komplexní nástroje a uživatel je tak nucen buď dělat kompromisy, nebo pracovat s více AI nástroji, což cenu dále navyšuje. 

S těmito kritérii v ruce jsme se pustili do testování konkrétních nástrojů, které se na trhu v tuto chvíli nabízejí.

Rešerše kvalitní, ale pomalé a neznalý obchodní zástupce

Testovali jsme nástroj doporučený nám slovenskou partnerskou kanceláří se zaměřením na tvorbu rešerší. Kvalita výstupů byla vysoká. Rešerše byly obsáhlé, propracované a v rámci našeho testovacího provozu jsme se setkali s halucinacemi výjimečně, a to jak u rešerší judikatury, tak legislativy. Jedinou daní za tuto kvalitu byla na dnešní poměry delší doba generování – v řádu pěti až deseti minut na jednu rešerši. To by pro nás samo o sobě nebylo diskvalifikující, pokud by výsledek odpovídal našim dalším požadavkům. 

Nestalo se tak však ze dvou důvodů. Nástroj totiž řeší výhradně rešerše, a tedy pro naplnění naší představy o komplexním nástroji by musel fungovat v tandemu s dalším řešením, což jsme z principu nechtěli. Druhým důvodem byla cena, která byla nastavena v rámci balíčků podle objemu čerpaných rešerší. I s vědomím, že se cena s objemem snižuje, jsme po srovnání s reálnými náklady na tokeny za vstupní a výstupní data dospěli k závěru, že cena za jednu rešerši je vzhledem k nákladům (tokenů za input/output) na její vygenerování nepřiměřená a v takové výši jsme za tento konkrétní výstup platit nechtěli.

Dalším nástrojem, na který jsme měli dobré individuální reference s tím, že poskytuje spolehlivé výstupy, byl jeden z hlavních poskytovatelů právních systémů a databází na trhu. Náš zájem o tento nástroj ovšem zhatila již úvodní schůzka. Obchodní zástupce nebyl schopen zodpovědět žádný z našich dotazů týkajících se toho, co sám označoval za „vývoj“ nástroje, když jsme v každém jednom případě byli odkázáni právě na vývojáře, eventuálně na sekci dotazů na webových stránkách. 

Nešlo přitom o nic složitého ani technicky náročného, ale o zcela základní otázky – zda a s jakou pravidelností nástroj testuje a přizpůsobuje použité jazykové modely aktuální nabídce na trhu, jejich ceně a potřebám klientů, podle jakých kritérií se jazykové modely vybírají a které se aktuálně využívají, eventuálně na co, ani od čeho se odvozuje cena kreditů tohoto poskytovatele ve vztahu k reálným nákladům na tokeny za použitý jazykový model. 

Celková neznalost těchto informací v nás vyvolala dojem, že nám je nabízen produkt, ale už ne reálný servis k němu, resp. partnerství v rámci dalšího vývoje, řešení na míru, diskuse nad možnostmi, přitom právě tyto aspekty jsme pro rozhodnutí považovali za klíčové. Vyšší cenu bylo možné vysvětlit tím, že bylo nutné pořídit balíček zahrnující i databázi, s výhodou, že nástroj čerpá i z dostupné komentářové literatury. Ani to však nedokázalo vyrovnat absenci komplexnosti, kterou jsme od nástroje očekávali. Jednoduše koláč, o kterém vám někdo tvrdí, že je výborný, ale sám neví, co do něj vlastně dal, si nekoupíte.

Transparentnost nákladů byla navíc problematická i v tom, že vztah mezi tokeny a kredity nám nebyl vysvětlen. Navzdory skutečnosti, že z veřejně dostupných zdrojů byl v minulosti znám případ, snad dosud největší medializovaný, kdy se právě z této databáze do výstupu dostala zhalucinovaná judikatura, musím objektivně konstatovat, že samotné výstupy, se kterými jsme se setkali při testování, resp. ukázkách, na první pohled působily kvalitně.

Kde jsou data?

V úvahu jsme vzali další komplexní řešení na trhu, kde jsme byli v kontaktu s poskytovateli s tím, že by mohl naše požadavky naplnit. Zde ale rozhodla cena, a to ještě před tím, než jsme se dostali do fáze testovacího provozu, neboť jsme na trhu identifikovali řešení, které naše požadavky splňovalo za cenu řádově nižší. U velkého množství řešení je cenovka vysoká, byť se v některých případech tváří jako „řádově nižší od obdobných řešení“. Což byl přesně případ i tohoto komplexního nástroje. Problém je v tom, že řešení, se kterými se nástroje srovnávají, jsou nástroje jako Legora nebo Harvey, které si středně velké kanceláře, tím spíše kanceláře menší či samostatní advokáti, nemůžou dovolit ani dalece. Oproti uvedeným nástrojům je skutečně téměř každá nabídka řádově nižší, byť propastný rozdíl v ceně neznamená propastně rozdílnou kvalitu, bezpečnost či četnost možností.  

Sledovali jsme také AI nadstavbu ve vývoji dvou největších poskytovatelů právních systémů a databází na trhu, tehdy jsme však narazili na skutečnost, že se nástroj v době našeho testování teprve nacházel ve fázi vývoje. K řešení, které nabízí aktuálně, tedy nemám dostatečnou zkušenost ke sdílení. 

Souběžně s výběrem konkrétního nástroje jsme řešili i otázku, kde a jak budou naše i klientská data v souvislosti s používáním AI nástroje uložena. Všechny výše uvedené nástroje totiž fungují na cloudových řešeních. Zvažovali jsme i alternativu v podobě fyzického úložiště, konkrétně specializované jednotky od Dell, která by data držela lokálně a zajistila tak jejich plnou izolaci. Od tohoto řešení jsme však ustoupili, neboť takové úložiště nebylo s to poskytnout výkon srovnatelný s cloudovým řešením, a výkon byl pro nás v konečném důsledku důležitější faktor, zejména s vědomím, že i cloudové řešení může při vhodně zvolené architektuře poskytovat dostatečnou úroveň ochrany dat.

Testovali jsme rovněž několik čistě databázových nástrojů, postavených na principu, že by si kancelář vytvořila vlastní databázi z interních dokumentů, ze které by nástroj následně čerpal a generoval výstupy. To v základech stojí na principu řešení, která v současné době některé advokátní kanceláře vyvíjí se záměrem zpřístupnit klientům k vlastní správě a použití. Pro účely použití samotné kanceláře je to ovšem velmi málo, tam by naopak to řešení mělo být daleko složitější a komplexnější, než jaké teoreticky lze otevřít klientovi. 

Řešení z advokátní praxe

Nakonec jsme zvolili řešení od české technologické společnosti ForLegal.ai, která svůj nástroj vyvíjela roky v rámci aktivní advokátní praxe, což v důsledku znamená audit a nastavení procesů na základě reálné zkušenosti z advokacie, protože právě advokát nejlépe ví, kde další advokáty tlačí bota. Rozhodly zejména tři faktory. 

Prvním je komplexnost – nástroj v jedné privátní AI platformě kombinuje drafting smluv a podání na našich vlastních šablonách, rešerše judikatury a legislativy, možnost nastavení a personalizace agentů, přepis zvukových záznamů, napojení na emailovou schránku i add on do wordu, tedy takovou šíři funkcí, kterou jsme od začátku vytyčili jako požadavek, aniž bychom museli kombinovat více samostatných nástrojů. 

Druhým faktorem je bezpečnost dat, kdy řešení běží na privátním serveru v českém datacentru, s architekturou zero data retention u externích AI poskytovatelů a bez využití klientských dat k tréninku modelů, což odpovídá nárokům, které na ochranu dat klademe v souvislosti s advokátní mlčenlivostí. Třetím faktorem byla cenová struktura, která je transparentní a poplatky za tokeny jsou samostatně účtované dle spotřeby AI podle skutečného využití. Neméně důležitá byla také ochota dodavatele nastavit nástroj na míru naší kanceláři, včetně agentů a formátování výstupů podle našich standardů, a dlouhodobě se s námi podílet na jeho dalším rozvoji, což se aktivně děje. 

Do budoucna podnikáme kroky k dalšímu vývoji AI v rámci kanceláře právě v součinnosti s poskytovatelem našeho AI nástroje a jeho potenciálního zpřístupnění klientům za účelem efektivnějšího poskytování právních služeb. Naše zkušenosti a know-how chceme dlouhodobě klientům předávat v co nekvalitnější, nejspolehlivější, ale zároveň nejefektivnější formě. 

Výběr AI nástroje pro advokátní kancelář dnes není otázkou toho, zda AI používat, ale jak ji používat efektivně, bezpečně a v souladu s tím, co advokátní praxe vyžaduje. Trh je přesycený a řešení v nabídce je tolik, že je to chvílemi až paralyzující. 

Naše zkušenost ale ukazuje, že byť na trhu existuje řada kvalitních dílčích řešení, komplexní nástroj při zachování plné kontroly nad daty za dostupnou cenu, je stále výjimkou, nikoli standardem. Při aplikaci filtru odpovídajícímu požadavkům se výběr zužuje zásadně a je třeba si udělat dostatečnou rešerši, věnovat se testování a zůstat v očekáváních náročný. Proto jsme se rozhodli tuto zkušenost sdílet, protože rozhodování, které tomuto výběru u nás předcházelo, trvalo měsíce.

Jaká je vaše zkušenost?

Jiří Matzner

JUDr. Jiří Matzner, Ph.D., LL.M. je zakladatelem advokátní kanceláře Matzner & Vítek a odborník na IT a autorské právo.


Advokátní kancelář Matzner & Vítek Legal je hlavním partnerem legalwebu, v rámci této spolupráce byl publikován rovněž tento text.

Webové stránky Matzner & Vítek Legal je možné navštívit na adrese https://www.matznervitek.legal/