Casi superati · held-out interno
Trasparenza / EvaluationI numeri bassi
I numeri bassi
restano visibili.
Un benchmark non è una decorazione. La release storica v5 fu promossa per una variazione circoscritta, non perché i risultati assoluti fossero alti.
Snapshot v5 / risultati misurati
Le scale mostrano il valore assoluto, non l’incremento relativo.
100 esempi · non test ufficiale
200 esempi · non test ufficiale
Perché v5 fu promossaUna promozione
Una promozione
circoscritta.
Benchmarkv4v5variazione
Core italiano1/161/16invariato
Grounded F10,5815%0,7940%+36,5% rel.
Recall F10,3532%0,3430%−2,9% rel.
Il miglioramento grounded è relativo a una base molto piccola. L’assoluto resta sotto l’1% e il recall regredisce leggermente.
Il gate ha detto noPiù grande.
Più grande.
Non abbastanza migliore.
Il candidato v8 1B ha ridotto la loss durante il pilot, ma ha ottenuto 0/39 nel gate rigoroso. La decisione è stata fail; la promozione è rimasta disabilitata.
Candidato v81.001.376.576parametri inizializzati
Gate0 / 39
PromotionDenied
Prima di usarloLimiti
Limiti
operativi.
- Può inventare fatti o produrre testo incoerente.
- Non è un assistente generalista di frontiera.
- Le proposte nell’interfaccia non equivalgono a capacità validate.
- Le risposte mediche, legali, finanziarie o di sicurezza vanno verificate.
- Più parametri non significano automaticamente più conoscenza.