01
DataPrepara e separa
Testi puliti e deduplicati, split train/validation creati prima del training e controlli contro overlap noti.
Training / ProvenienzaIl modello cresce.
Il modello cresce.
Il registro ricorda.
Thomas non cambia versione perché il numero è più grande. Ogni traiettoria passa da dati separati, training riproducibile, benchmark e una promozione esplicita nel registry.
02
CPTApprende il dominio
Il continued pretraining usa next-token prediction. Per v5: una passata deterministica su SQuAD-it.
03
SFTImpara a rispondere
LoRA response-only calcola la loss sulla risposta dell’assistente, mantenendo congelata la base.
04
GateMisura e promuove
Checkpoint, tokenizer e report vengono legati da hash. Un candidato che regredisce non diventa stable.
Percorso documentatoDa 53,5M
Da 53,5M
a 300,5M.
Le espansioni v3 e v4 aggiungono blocchi identità e verificano che i logits iniziali non cambino. Solo il training successivo può aggiungere comportamento.
v0origine
53,5MLa base storica: tokenizer byte-level BPE e prima pipeline completa.
v3storico
153,1MCrescita function-preserving a 37 layer, poi continued pretraining e LoRA.
v4storico
300,5MEspansione function-preserving verificata senza cambiare i logits iniziali.
v5storico verificato
300,5MCPT su SQuAD-it e recovery Smart della linea documentata da 300M.
Release storica v5 / continued pretraining
3.913.266
token trainSQuAD-it è diviso per gruppi, con il test ufficiale escluso dal training. La configurazione copre una passata esatta in 956 update.
Validation460.385token separati
Recovery SFT3.176esempi train
LoRA199update, una epoca
Best val loss0,01490selezione checkpoint
Traccia di ricerca · candidato v8La prova 1B
La prova 1B
non fu promossa.
La crescita a 1.001.376.576 parametri conserva i logits della base, ma da sola non aggiunge conoscenza. I candidati v8 non hanno superato i gate: 0/39 e promozione negata.
Stato: ricerca isolata