KairoT-Flash eğitilen token — token/parametre — aşama —
Tercih hizalaması · RLA

Hangi cevap daha iyi — tek çözümle.

Kiracı belleği modele bilgi ekler. RLA başka bir sorunu çözer: iki makul cevaptan hangisinin yeğlendiğini öğretmek. Bugünkü yöntemler bunu binlerce kez tekrarlayarak yapar; bizimki aynı işi tek bir çözümle bitirir.

Kısaca ne yapıyor

Yön

Tercih farkından hesaplanır

Seçilen ve reddedilen yanıtların model içindeki farkı tek bir çözüme dönüşür. Eğitim turu yok, ikinci model yok.

Büyüklük

Bütçe belirler

Uygulanan ölçek, izin verilen sapmayı aşmayacak en büyük değer olarak çözülür. Veri büyüdükçe kendiliğinden değişmez.

Denetim

Ölçülür, kayda yazılır

Uygulanan ölçek, ölçülen sapma ve üst sınırın sıkılığı koşu kaydında saklanır; model eski hâline birebir döndürülebilir.

Ölçülenler

Aşağıdaki sayılar kendi test düzeneğimizden gelir: 2026-11-06'da koşulan RLA algoritma testi. Düzenek kasıtlı olarak küçüktür (64 boyutlu gizli durum, 256 kelimelik sözlük) — amaç ürün ölçmek değil, yöntemin matematiksel iddiasını sınamak.

ÖlçümKlasik yolRLANe diyor
Çözüme ulaşmak için gereken adım 41 gradyan adımı 1 çözüm · 0,0004 sn Aynı hedefe tek seferde ulaşılıyor.
Modelin kendi davranışı korunuyor mu Kafayı değiştirince taban modelle uyum %2,3 Üstüne ekleyince %16,8 Çözümü yazmak değil, eklemek gerekiyor — biz ekliyoruz.
Taban modelin bozulması (KL) 0,054 0,027 Ekleyerek yarı yarıya daha az bozulma.
Yanıt çifti mi, tek belirteç mi Belirteç düzeyi: tabanla uyum %62,7 Çift düzeyi: %91,2 Tercih çiftten öğrenilmeli, belirteçten değil.
Veri 10 kat artınca 20.000 satır: kazanma 0,22–0,26 2.048 satır: 0,34–0,39 Az ve temiz veri, çok ve gürültülü veriden iyi.
“Bu kadardan fazla değişmez” sınırı — Üst sınır 214, gerçek en kötü 41,6 Sınır geçerli ama gevşek: gerçek sapmanın ~5 katı.

Bu tablo, yöntemin nasıl davrandığını gösterir. Modelimizin tercih kazancının ne olduğunu göstermez — o ölçüm henüz yok (aşağıda).

Veri: elle etiket yok, 18.447 çift

Cevap düzeyi · 10.813

İnsan tercihi

Aynı soruya verilmiş iki insan cevabından biri yeğlenir. Model “hangisi daha iyi cevap” sorusunu böyle öğrenir.

Düşünme düzeyi · 7.634

Sağlam akıl — bozuk akıl

Doğru cevabın arkasındaki düşünce akışı bozulur, cevap aynı kalır. Model sonuca bakmadan akıl yürütmeyi ayırt etmeyi öğrenir.

Ayrık doğrulama

%10’u ölçüm için saklandı

1.884 çift hiç eğitilmez. Hiçbir soru iki tarafta birden bulunmaz; ölçüm ancak böyle dürüst olur.

Durum

Bu aşama henüz koşmadı. Veri hazır ve sayıları doğrulanmış; mekanizma kodda bağlı ve sözleşme testleriyle sınanmış. Ölçülmemiş olan tek şey şu: bu yöntem bizim modelimizde ne kadar tercih kazancı üretiyor. O sayı, ayrılan 1.884 çiftlik doğrulama kümesiyle ölçülecek — ölçülene kadar bu sayfada yazmayacağız.