Demo: Phân tích cấu trúc một token

Thuộc loạt AI cho kỹ sư nhúng. Mọi con số trên trang này lấy từ checkpoint thật ple-jetson-s0.pt, sinh bằng src/trace_token.py, không có số nào dựng sẵn. Bấm vào từng khối để xem số và công thức của nó.

Model nhận câu The cat sat on the và phải đoán token kế tiếp. Dưới đây là đúng những gì xảy ra bên trong, từng bước một.

Sinh lại trang này

cd src && uv run python trace_token.py \
    --run ../runs/ple-jetson-s0.pt --tokenizer ../data/bpe4096.json \
    --prompt "The cat sat on the" --out ../trace.json

Script thoát mã 1 nếu bất kỳ phép kiểm nào lệch quá 2e-05, nên không thể vô tình đăng một trang có số sai.

Bài viết thuộc loạt AI cho kỹ sư nhúng. Góp ý: mở issue tại github.com/ninhnn2/machineai.