Ar-Ge Bülteni 6 Kasım 2026 2. duyuru

İkinci modelin defteri açıldı.

Kairo-Flash 2 (kod adı kairot-flash-3b) tasarım masasında tamamlandı. Aşağıda neyin ölçüldüğünü, neyin yalnızca hedef olduğunu ve neyi henüz bilmediğimizi ayırmadan yazıyoruz — çünkü bir modelin güvenilirliği, hakkında konuşurken kullandığı sayıların kaynağıyla başlar.

Ad 0,35 B modelin adındaki T kiracıyı (tenant) simgeliyor: o model müşteri belleği için tasarlandı. 3 B model kiracı belleği için değil, genel amaçlı bir dil modeli olarak eğitilecek; B2B çözümlere sonradan uyarlanabilir. Bu yüzden adı Kairo-Flash 2 — T yok.

Ölçüm defterine in Canlı eğitimi gör

Ölçüm defteri

Her satır üç şeyden biridir: ölçüldü (kayıt dosyası var), tasarım hedefi (yapılandırmada yazıyor, koşu yapılmadı) veya ölçülmedi (henüz bilmiyoruz). Üçüncü grup diğerlerinden daha uzun olabilir; olması normal.

Durum Ne biliyoruz Değer

Ölçüldü

Kairo v1 · 0,35 B — tek kart, 2.048 belirteç bağlam, 2 × 2.048 mikro-parti. Bu, kendi eğitim algoritmamızın bugünkü ölçülmüş hızı; Kairo-Flash 2 için karşılaştırma tabanımız budur.

logs/a1-hiz-20261027-180647.log · 27 Ekim 2026

10.242belirteç/saniye

Ölçüldü

Aynı koşuda tepe bellek. Mikro-parti 4 ve 8'e çıkarıldığında koşu CUDA bellek hatasıyla düştü — olumsuz sonuç da kayda geçer.

logs/a1-hiz-20261027-180647.log

9,48 GiBtepe VRAM

Ölçüldü

Kairo-Flash 2 · gerçek eğitim adımı. 3B model gerçekten kuruldu ve kartta ileri + geri yayılım koşturuldu: 2 × 2.048 belirteç, gradyan denetim noktası açık. Model ağırlıkları 5,53 GiB tutuyor.

kairot-flash-3b/olcum_3b.log · 6 Kasım 2026

2.241belirteç/sn

Ölçüldü

Aynı koşunun tepe belleği ve yalnız ileri yayılım hızı. Eğitim adımı 16 GiB'lık karta sığıyor; sığmayan, optimizer adımı (bkz. aşağıdaki satır).

kairot-flash-3b/olcum_3b.log

11,76 GiBtepe · ileri 8.822 belirteç/sn

Ölçüldü

Gerçek parametre sayısı. Yapılandırma 2.977.354.207 diyordu; gerçek model 2.961.931.551 parametre kurdu — 15,4 milyon fark, tasarım hesabı ile kod arasındaki sapma.

kairot-flash-3b/olcum_3b.log · 6 Kasım 2026

2.961.931.551toplam parametre

Hedef tutmadı

Yapılandırmadaki 7.320 belirteç/saniye bir tasarım hesabıydı (%35 donanım verimi varsayımıyla), ölçüm değil. Gerçek ölçüm 3,3 kat daha yavaş. Bellek tahmini ise tuttu: 12,35 GiB denmişti, ölçülen 11,76 GiB.

kairot-flash-3b/config_kairot_flash_2.json ↔ olcum_3b.log

7.320 → 2.241tasarım → ölçülen

Yok

Başka modellerle hız karşılaştırması. Elimizde başka bir modelin bu donanımdaki kendi ölçümümüz yok; olmayan sayıyı yazmıyoruz.

yöntem: yalnız kendi koşularımız arasında karşılaştırma

—kapsam dışı

Karşılaştırma kuralı. Bir sayı yalnızca kendi ölçüm kaydımızdan geliyorsa yazılır. Bir modelin rakibinden hızlı olduğunu söylemek için iki modelin de aynı donanımda, aynı ayarlarla ölçülmüş olması gerekir. Bu koşul sağlanana kadar tek karşılaştırma tabanımız, 0,35 B modelimizi ilk eğittiğimiz orijinal algoritmanın ölçülmüş hızıdır: 10.242 belirteç/saniye.

Kairo-Flash 2'nin bu tabana göre ne kadar hızlı olduğu, ilk koşu bittiğinde aynı deftere yazılacak. O güne kadar bu sayı ÖLÇÜLMEDİ.

Yeni eğitim algoritması neyi değiştiriyor

Üç mekanizma, üç darboğaz. Aşağıdakiler mekanizmanın ne yaptığını anlatıyor; bizim modelimizde ne kadar kazanç ürettiği ilk koşuda ölçülecek.

dinamik parçalı olasılık akışı

Uzun bağlamda bellek duvarı

Çıkış olasılık matrisi bağlam uzunluğuyla birlikte büyür. Akış, bu matrisi parçalar hâlinde işleyip her parçayı işi bitince bırakır; bellek, bağlamın tamamı için ayrılmaz. Amaç: 32k bağlamı tek kartta tutmak.

Muon-AdaCurv · 8-bit

Optimizasyon belleği

İki boyutlu ağırlıklar Newton–Schulz ile dikleştirilir, tek boyutlular AdamW ile güncellenir; eğrilik terimi adımı sönümler. Optimizasyon durumu 8 bit tutulur. Kazanç iddiası değil, tasarım tercihi.

seyrek uzman yönlendirme

Her belirteçte tüm model

≈3,0 B parametre taşınır, belirteç başına ≈0,75 B hesaplanır. Kapasite büyür, hesap aynı oranda büyümez. Hangi uzmanın ne zaman çalıştığı yönlendirici tarafından seçilir.

Bu arada: 0,35 B model hâlâ eğitimde

Kairo-Flash 2 duyurusu, elimizdeki modelin bittiği anlamına gelmiyor. Aşağıdaki satırlar doğrudan koşunun kendi durum dosyasından okunur.

aşama

—

adım

—

son adım kaybı

—

ön eğitim belirteci

—

Canlı Eğitim Takibi sayfası aynı veriyi eğri ve aşama ayrıntılarıyla gösterir.

Sırada ne var

0,35 B koşusu tamamlandığında önce SFT ve tercih aşamaları kapanacak, ardından Kairo-Flash 2'nin veri hattı kurulacak. Veri hazırlığı henüz başlamadı ve başladığında da önce ölçüm planı yazılacak — hangi sayının hangi koşuda üretileceği belli olmadan eğitim başlatılmıyor.

Bu sayfadaki sayıların her biri bir dosyaya dayanır. Bir sayının kaynağını bulamıyorsanız, o sayı burada yazmamalıydı — bildirin, kaldıralım.