KairoT-Flash eğitilen token — token/parametre — aşama —

Teknik Rapor

On sayfalık eğitim raporu: her aşamanın parametreleri, veri karışımı, modelin gördüğü tam biçim, tercih hizalamasının (RLA) neyi nasıl çözdüğü, kiracı belleğinin nasıl çalıştığı, kapılar ve bilinen sınırlar. Bir de ek: modelin gerçek dikkat ağırlıkları.

Raporu aç (PDF, 306 KB) İndir

Raporda ne var

1–2Yönetici özeti, beş aşamalı üretim hattı, parametre bütçesi
3Dikkat mekanizması: katman katman pencere, aşama bazında davranış
4Veri setleri ve karışım oranları (ön eğitim + SFT + güvenlik)
5Biçim: modelin gördüğü tam dizge ve belirteç tablosu
6Kiracı belleği: iki dosya, her biri ne taşır
7RLA — tercih hizalaması: hangi sorunu çözer, çözüm neden eğitim turu gerektirmez, uygulanan büyüklüğün nasıl bütçeye bağlandığı, veri ve kapı
8–9Kapılar ve ölçüm, bilinen sınırlar
Ek ADikkat ağırlıkları — modelin kendi ara tensörlerinden
Dürüstlük notu. Rapordaki her sayı çalışan sistemden okundu. Ölçülmemiş bir değer tahmin olarak yazılmadı; ölçülmemiş olanlar “bilinen sınırlar” bölümünde açıkça listelendi. Modelin bugün yapamadıkları da orada.