Legal Prompting - RAG e i suoi rischi in ambito legale

Bentornati al podcast di NicFab dedicato al legal prompting. Sono Nicola Fabiano e questo è il

quarto episodio. La volta scorsa abbiamo parlato di informative privacy, come verificarle,

semplificarle e adattarle a contesti diversi. In chiusura ho anticipato un tema che cambia

prospettiva. Non parliamo più di come scrivere un prompt, ma di come il modello trova le

informazioni. Parliamo di RAG, Retrieval Augmented Generation. Cos'è il RAG? RAG è un'architettura,

funziona così. Invece di affidarsi solo a quello che il modello ha appreso durante

l'addestramento, il sistema recupera documenti da una base di conoscenza esterna e li inserisce

nel contesto della richiesta. Il modello genera la risposta usando quei documenti. In pratica,

caricate una raccolta di atti, provvedimenti, contratti, pareri, normativa e il sistema li

indicizza. Quando fate una domanda, il motore di retrieval seleziona i frammenti più rilevanti e

li passa al modello. Il modello risponde sulla base di quei frammenti. L'idea è potente. Non

li affidate più alla memoria del modello che può essere imprecisa o datata. Lavorate sui vostri

documenti con le vostre fonti. Per un professionista legale questo sembra la soluzione ideale. Sembra.

I rischi sono i seguenti. Il primo rischio è la qualità del retrieval. Il sistema non cerca

come cercherebbe un giudista. Usa la similarità semantica. Seleziona frammenti che assomigliano

alla domanda dal punto di vista linguistico, non giuridico. Se chiedete un parere sul legittimo

interesse, il sistema potrebbe restituire un frammento che lo menziona, ma in un contesto

completamente diverso. Il risultato è una risposta che sembra fondata, ma che poggia

su un frammento irrilevante. Il secondo rischio è la frammentazione. I documenti vengono spezzati

in blocchi, chunk nel gergo tecnico, per essere indicizzati. Un provvedimento di un'autorità

garante non è una sequenza di blocchi indipendenti. Ha una struttura argomentativa. La premessa

condiziona la conclusione. Se il sistema estrae solo la conclusione senza la premessa, il

modello lavora su un pezzo incompleto e genera risposte che perdono il ragionamento. Il terzo

rischio è l'opacità. Quando il modello risponde usando

il RAG, non sempre è chiaro quali frammenti ha utilizzato. Alcuni sistemi mostrano le

fonti, altri no, ma anche quando le fonti sono indicate, non sapete come il modello

le ha combinate, quali ha privilegiato, quali ha ignorato. Questa mancanza di trasparenza

è un problema. Un giurista deve poter ricostruire il ragionamento. Con il RAG spesso non può.

Il quinto rischio riguarda il segreto professionale. Se caricate atti riservati in una piattaforma

RAG, dove finiscono quei dati, chi li processa, dove sono conservati? L'infrastruttura del RAG

non è solo un problema tecnico, è un problema deontologico. E in molti casi è un problema di

conformità al GDPR e alla IACT. Le cautele. Questo non significa che il RAG sia inutile,

significa che va usato con consapevolezza. Prima cautela. Verificate sempre le fonti. Non

fidatevi della risposta. Leggete i frammenti che il sistema ha recuperato. Controllate che

siano pertinenti, completi e attuali. Seconda cautela. Controllate la segmentazione. Come

vengono spezzati i documenti? I blocchi rispettano la struttura logica del testo o lo tagliano

arbitrariamente. Una segmentazione inadeguata produce retrievele inadeguato. Terza cautela.

Scegliete l'infrastruttura con attenzione. Dove risiedono i dati? Chi ha accesso? Ci sono garanzie

contrattuali? Il RAG, più di qualsiasi altro uso dell'AI in ambito legale, richiede una

valutazione infrastrutturale seria. Quarta cautela. Documentate l'uso. Se usate un sistema RAG per

preparare un parere o analizzare un contratto, documentate le fonti recuperate, la domanda posta,

la risposta ricevuta. È una questione di responsabilità professionale. Ecco le mie

considerazioni conclusive. Il RAG promette di risolvere il problema delle fonti, in parte lo

fa, ma introduce nuovi rischi. Retrieve l'impreciso, frammentazione, fonti obsolete, opacità,

esposizione di dati riservati. Il punto non è solo scrivere il prompt giusto, è capire cosa

succede prima che il modello generi la risposta e assumersi la responsabilità di quel processo.

Nel prossimo episodio parleremo di tecniche avanzate di prompting, chain of thought e few

short, applicate al ragionamento giuridico. Iscrivetevi alla newsletter su nickfam.eu.

Grazie per l'ascolto. Al prossimo episodio.