Tokenizer byte-level BPE
Un vocabolario custom da 10.000 unità parte dai byte e apprende merge BPE. Include token dedicati a sequenza, codice e ricerca.
Il modello / checkpoint attivoPiccolo abbastanza
Piccolo abbastanza
da stare vicino.
Thomas è un Transformer decoder-only custom. Il registry collega il runtime a un checkpoint, al tokenizer compatibile e alle verifiche che ne attestano geometria e integrità.
Thomas / activeregistry linked
modelcustom
runtimelocal
statestable verificato
Model card / deploymentThomas custom
registry-linked
registry-linked
- Famiglia
- Decoder-only custom
- Checkpoint
- Selezionato dal registry
- Integrità
- SHA-256 verificato
- Tokenizer
- Associato al deployment
- Runtime
- PyTorch locale
- Output
- Generazione autoregressiva
01Registry
selezione del checkpoint
02SHA-256
integrità verificata
03Locale
inferenza PyTorch
04Custom
tokenizer e architettura
Anatomia del segnaleDal byte
Dal byte
alla risposta.
L’architettura segue idee note della famiglia LLaMA-style, ma l’implementazione, il tokenizer e la pipeline di checkpoint sono parte del progetto Thomas.
Rotary Position Embeddings
RoPE inserisce l’informazione posizionale direttamente nelle query e key dell’attention, con base 10.000.
Pre-RMSNorm + SwiGLU
Ogni blocco normalizza prima di attention e feed-forward. Le connessioni residuali attraversano l’intero stack.
Causal attention + KV-cache
La maschera causale impedisce di leggere token futuri. La cache conserva key e value durante la generazione incrementale.
Finestra di contesto2.048 token,
2.048 token,
gestiti con misura.
Il runtime riserva spazio alla generazione e riduce il prompt quando supera la finestra. L’output locale è limitato a un massimo di 512 token.
0promptoutput ≤ 5122.048
Il budget di output viene sottratto dalla finestra prima di adattare il prompt.