RecursiveMAS: coordinamento multi-agente tramite stati latenti

Nei sistemi multi-agente, le reti neurali traducono di continuo i propri stati interni in testo destinato ad altre reti neurali. RecursiveMAS sperimenta un collegamento diretto nello spazio latente.

Un planner formula una proposta, un critic la commenta e un solver legge entrambi i messaggi. In questa architettura comune, ogni passaggio converte uno stato interno denso in token, che il modello successivo deve codificare da capo. La trascrizione è utile per chi osserva il sistema, ma richiede calcolo e aumenta la latenza.

Recursive Multi-Agent Systems, pubblicato su arXiv nell'aprile 2026 da ricercatori di UIUC, Stanford, NVIDIA e MIT, sostituisce i messaggi intermedi con stati latenti adattati. Su nove benchmark, gli autori riportano un aumento dell'8,3% nell'accuratezza media, un'inferenza da 1,2 a 2,4 volte più veloce e dal 34,6% al 75,6% di token in meno rispetto a un sistema equivalente che comunica in testo.

Sostituire il canale testuale

Per generare testo, un modello proietta uno stato interno di dimensione d_h su un vocabolario di |V| elementi, un token alla volta. Il destinatario tokenizza e codifica la sequenza risultante. Nel modello di complessità usato nel paper, la decodifica di m token di ragionamento comprende un costo di proiezione pari a m·|V|·d_h; il trasferimento latente costa m·d_h². Poiché la dimensione nascosta è molto inferiore a quella del vocabolario, la seconda soluzione evita buona parte di questa operazione.

Il calcolo è solo una parte del costo. Una rappresentazione continua deve anche essere serializzata attraverso un canale discreto e autoregressivo. Il testo può trasmettere un ragionamento dettagliato, ma il mittente deve renderlo esplicito come sequenza e il destinatario deve ricostruire una rappresentazione utile. Le due operazioni si ripetono a ogni messaggio e a ogni ciclo di collaborazione.

Il collegamento è un piccolo adattatore chiamato RecursiveLink, composto da due layer lineari, un'attivazione GELU e un ramo residuo.

L'inner link riporta l'ultimo stato interno di un modello nello spazio degli embedding di input: R(h) = h + W₂ σ(W₁h). Il forward pass successivo riceve questo vettore anziché un token. Gli autori chiamano ogni passaggio latent thought. L'outer link trasferisce lo stato tra modelli diversi e aggiunge una proiezione per conciliare dimensioni differenti: R(h) = W₃h + W₂ σ(W₁h).

Il ramo residuo permette alla parte addestrabile di concentrarsi sullo scarto fra gli spazi di embedding. Nell'ablation riportata, questa struttura raggiunge 88,0 su MATH500, contro 85,6 per lo stesso adattatore a due layer privo di connessione residua.

Un'unica computazione ricorsiva

Il primo agente legge la domanda e produce latent thoughts. Un outer link li converte nello spazio di embedding dell'agente successivo, insieme alle sue istruzioni. Al termine della catena, l'output latente torna al primo agente e avvia un altro ciclo. Ogni modello può così rivedere il proprio contributo usando lo stato prodotto dall'intera catena nel passaggio precedente. Soltanto l'ultimo agente, alla fine, decodifica il testo.

La catena assume così la forma di un modello ricorsivo i cui layer sono LLM distinti. Il lavoro estende ricerche sui language model ricorsivi e looped, fra cui LoopLM, che riutilizzano gli stessi layer per aumentare il calcolo senza aggiungere parametri. Secondo gli autori, RecursiveMAS è il primo tentativo di applicare questa strategia di scala a un intero sistema.

Addestrare i collegamenti

I pesi degli LLM restano congelati. L'addestramento interessa circa 13 milioni di parametri dei RecursiveLink e si divide in due fasi.

Prima, l'inner link di ogni agente impara ad allineare i latent thoughts con l'embedding della risposta corretta, mediante regressione coseno. Poi la catena completa viene srotolata per più cicli; la cross-entropy calcolata sulla risposta testuale finale si propaga attraverso tutti i collegamenti. Nelle condizioni del Theorem 4.1, questo percorso latente differenziabile conserva inoltre il segnale di apprendimento fra i cicli meglio dell'addestramento supervisionato basato su predizioni di token sempre più sicure.

Il costo dichiarato per il training è di 4,27 dollari e riguarda lo 0,31% dei parametri del sistema. Il confronto nel paper indica 6,64 dollari per LoRA e 9,67 per un fine-tuning supervisionato completo; le rispettive accuratezze medie nei task successivi sono 74,9 per RecursiveMAS, 66,9 per LoRA e 68,6 per il fine-tuning completo. Sono valori relativi alla configurazione degli autori, non il prezzo generale per adattare qualsiasi sistema. Indicano però quanto sia ridotta la parte modificata in questo esperimento.

I risultati sui nove benchmark

La valutazione comprende matematica (MATH500, AIME2025 e AIME2026), scienza e medicina (GPQA-Diamond e MedQA), codice (LiveCodeBench-v6 e MBPP+) e QA basata sulla ricerca (HotpotQA e Bamboogle). Il controllo principale è Recursive-TextMAS: stessi agenti, stessa struttura e stesso numero di cicli, ma comunicazione testuale. È un confronto più utile di una semplice classifica, perché nell'implementazione degli autori isola il canale di comunicazione. Resta comunque legato ai modelli scelti, ai dati di training, ai task e ai budget di ricorsione esaminati.

La comunicazione latente guadagna in media 3,4 punti di accuratezza con un ciclo e 7,2 con tre. Su alcuni benchmark la ricorsione testuale peggiora dopo il secondo ciclo, mentre quella latente continua a migliorare. L'andamento è coerente con l'analisi del gradiente proposta nel paper, ma i benchmark non permettono da soli di stabilire quanto quel meccanismo spieghi il divario. Con tre cicli, RecursiveMAS usa il 75,6% di token in meno ed è 2,4 volte più veloce, perché non deve decodificare e ricodificare una trascrizione intermedia a ogni passaggio.

Il confronto più ampio comprende singoli agenti sottoposti a fine-tuning, Mixture-of-Agents, TextGrad e LoopLM. I margini maggiori di RecursiveMAS rispetto al riferimento più forte sono 13,4 punti su AIME2025 e 10,0 su AIME2026.

Aumentare i cicli in addestramento e in inferenza produce vantaggi distinti. Più cicli in inferenza aiutano anche a profondità di training invariata; un training più profondo migliora i risultati a parità di cicli in inferenza. Il risultato migliore si ottiene usando, in entrambe le fasi, il massimo numero di cicli verificato nello studio. La griglia sostiene quindi entrambe le forme di ricorsione entro l'intervallo misurato, ma non dimostra che i risultati continuino a crescere oltre quel limite.

Quattro forme di collaborazione

Gli autori hanno provato quattro configurazioni, anziché una sola catena fissa:

I miglioramenti compaiono in tutte. Nella configurazione mixture, il sistema ricorsivo supera in media del 6,2% il miglior specialista individuale. Nella distillation, il modello più piccolo mantiene un vantaggio di velocità di 1,5 volte e recupera gran parte delle prestazioni dell'esperto più grande. La deliberazione latente migliora del 4,8% un agente che usa strumenti.

Gli esperimenti collegano anche famiglie con dimensioni di embedding diverse, fra cui BioMistral e Qwen. Ogni coppia richiede comunque un outer link addestrato. Gli autori hanno pubblicato il codice con licenza MIT, i checkpoint e i dati di training; i riferimenti sono raccolti nella pagina del progetto.

I limiti dell'esperimento

La comunicazione latente elimina la trascrizione intermedia leggibile. In un sistema testuale, chi lo gestisce può controllare la proposta del planner o l'obiezione del critic, anche se quei messaggi non descrivono per intero il ragionamento interno dei modelli. In RecursiveMAS, invece, lo scambio nativo è un vettore. Uno stato può essere decodificato per ispezionarlo, ma l'operazione aggiunge costo e restituisce un'approssimazione. La decodifica selettiva può essere utile nel debugging, ma il paper non presenta un metodo maturo per interpretare questi canali. La minore verificabilità pesa soprattutto negli impieghi regolamentati o ad alto impatto.

Gli adattatori dipendono inoltre dalla coppia di modelli e dal dominio. Ogni collegamento deve conciliare gli spazi di embedding del mittente e del destinatario; sostituire un agente impone quindi di addestrare un nuovo outer link. Un protocollo testuale può collegare un nuovo modello mediante prompt, purché comprenda la lingua condivisa. Il basso costo riportato non rende RecursiveMAS una soluzione plug-and-play, e gli esperimenti non misurano l'onere di mantenere molti link quando cambiano modelli o domini.

Quasi tutti i benchmark hanno risposte verificabili, condizione adatta alla cross-entropy finale. Il paper non dimostra gli stessi vantaggi per scrittura, progettazione o agenti di lunga durata che usano strumenti e modificano sistemi esterni. L'esperimento di tool calling ha un perimetro più ristretto. Nell'ablation sul budget, inoltre, le prestazioni smettono di crescere intorno a 80 passaggi latenti per turno. Il trasferimento è più efficiente in questa configurazione, ma non offre una profondità di collaborazione utile illimitata. Il punto di saturazione potrebbe cambiare con task e modelli diversi.

RecursiveMAS fornisce dunque un risultato preciso: il linguaggio naturale non è indispensabile come protocollo interno di un sistema multi-agente. Nei compiti esaminati, il trasferimento latente rende la collaborazione ricorsiva meno costosa e più accurata. Per valutarne l'uso in produzione servono compiti più ampi, collegamenti facili da adattare e strumenti credibili per capire che cosa si scambiano gli agenti.

Fonti: Recursive Multi-Agent Systems (arXiv 2604.25917), pagina del progetto, repository GitHub ufficiale, checkpoint e dataset Hugging Face collegati dagli autori.