Açık-ağırlık modeller ve lokal ince ayar

Açık modelleri uyarla. Kanıtı koru.

Project PULSAR model seçimini ve uyarlamayı tekrarlanabilir mühendislik olarak ele alır: iş yüküne göre seç, yalnız kanıt desteklediğinde eğit ve her sürümde veri haklarını, değerlendirmeyi ve geri dönüşü koru.

UYARLA

Lokal adaylar

Göreve, değerlendirmeye ve donanıma uyan modelle başla.

ÖLÇ

Öncü referanslar

Büyük açık-ağırlık sistemleri ölçülmüş referans olarak kullan.

YÖNET

Kontrollü eğitim

Veriyi, adaptörü, değerlendirmeyi ve sürümü uçtan uca izle.

TEKRARLA

Tekrarlanabilir Ar-Ge

Artefaktları sabitle, varsayımları yayımla ve geri dönüşü koru.

Egemen sınırUyarlanan yönlendirmeİzin farkındalıklı bağlamİnsan yetkisi

01 / Açık-ağırlık portföyü

Bir sıralama değil, model portföyü

En güçlü model; iş yükünün kalite, gecikme, risk ve maliyet kapılarını geçen, yönetişilebilir en küçük seçenektir.

Qwen3-8B

Pratik lokal ince ayar adayı

Ölçek
8,2B parametre
Bağlam
32K doğal · YaRN ile 131K
Lisans
Apache 2.0

Alan davranışı, yapılandırılmış çıktı ve iki dilli deneyler için kullanışlı bir başlangıçtır. “Qwen 3.8” ifadesi burada resmî model adı olan Qwen3-8B olarak yorumlanır.

Qwen3.6-35B-A3B

Verimli orta ölçekli MoE adayı

Ölçek
35B toplam · 3B aktif
Bağlam
262K doğal
Lisans
Apache 2.0

Güçlü bir lokal sunucuda kalite, gecikme ve bellek dengelerini ölçmek için güncel bir açık-ağırlık MoE referansıdır.

Kimi-K2.6

Genel ve çok kipli referans

Ölçek
1T toplam · 32B aktif
Bağlam
256K
Lisans
Değiştirilmiş MIT

Mimari ve değerlendirme araştırmaları için öncü ölçekte açık-ağırlık bir sistemdir. Depolama ve sunum ihtiyacı nedeniyle ilk ince ayar hedefi değil, küme referansıdır.

Kimi-K2.7-Code

Ajan tabanlı kodlama referansı

Ölçek
1T toplam · 32B aktif
Bağlam
256K
Lisans
Değiştirilmiş MIT

Uzun soluklu yazılım görevleri, araç kullanımı ve kontrollü ajan değerlendirmesi için kodlama odaklı açık-ağırlık referanstır.

Qwen3.5-397B-A17B

Büyük çok kipli referans

Ölçek
397B toplam · 17B aktif
Bağlam
262K doğal
Lisans
Apache 2.0

Çok kipli ve ajan tabanlı değerlendirme için büyük bir MoE referansıdır. Varsayılan lokal uyarlama modeli değil, kıyas hedefi olarak portföyde yer alır.

GLM-5

Uzun soluklu sistem referansı

Ölçek
744B toplam · 40B aktif
Bağlam
200K
Lisans
MIT

Karmaşık sistem mühendisliği ve uzun soluklu ajan araştırmaları için büyük bir açık-ağırlık referanstır. Sıralama yerine gerçek iş yükünü doğrulayın.

02 / Uyarlama kararı

Yalnız değişmesi gereken kısmı eğit

İnce ayar sistemdeki araçlardan yalnızca biridir. Erişim, araçlar ve politika çoğu problemi daha düşük riskle çözer.

01

İstem ve araçlar

Model gerekli yeteneğe zaten sahipse ve eksik parça talimat, iş akışı veya deterministik hesaplamaysa buradan başlayın.

02

Erişim destekli üretim

Değişen gerçekler, özel bilgi ve kaynaklı yanıtlar için yönetişimli RAG kullanın. İnce ayar bir bilgi veritabanı değildir.

03

LoRA

Davranış, ton, biçim veya alan görevi performansı tekrarlanabilir biçimde uyarlanacaksa küçük adaptör matrislerini eğitin.

04

QLoRA

Lokal hızlandırıcı belleği temel kısıtsa kuantize temel model ve eğitilebilir adaptörler kullanın.

05

Sürekli ön eğitim veya tam eğitim

Yeterli veri hakkı, işlem gücü, değerlendirme derinliği ve kurtarma kontrolü olan kanıtlanmış durumlara ayırın.

03 / Unsloth lokal laboratuvarı

Özel veri setinden yönetişimli adaptöre

Unsloth; Qwen ve diğer açık-ağırlık aileleri için lokal LoRA ve QLoRA iş akışları sunar. PULSAR eğitim adımını kanıt, veri hakları ve sürüm kontrolüyle çevreler.

01

Veriyi sözleşmeye bağla

Bir eğitim satırı oluşmadan sahipliği, rızayı, lisansı, amacı, saklamayı ve yasak içeriği kaydedin.

02

Başlangıç çizgisini dondur

Model sürümünü ve sağlama toplamını sabitleyin; değişmez kalite, güvenlik ve ezberleme testleri oluşturun.

03

İzole deney yürüt

Unsloth'u sabitlenmiş ortam, LoRA veya QLoRA, sınırlı erişim ve eksiksiz deney üstverisiyle kullanın.

04

Sonucu zorla

Ayrılmış veride kalite, ret davranışı, gizlilik, yanlılık ve görev gerilemelerini dokunulmamış başlangıçla karşılaştırın.

05

Köken bilgisini paketle

Adaptörü, tokenizer'ı, istem şablonunu, veri manifestini, değerlendirme raporunu ve model kartını birlikte sürümleyin.

06

Geri dönüşle yayımla

Sınırlı kullanım alanında kontrollü yayın yapın, gerçek sonuçları izleyin ve önceki artefakta sınanmış dönüş yolunu koruyun.

ARAŞTIRMA BAŞLANGICI

Minimal bir QLoRA deneyi

Güncel resmî Unsloth notebook'unu kullanın; paket ve model sürümlerini sabitleyin; örnek veriyi hakları temizlenmiş, sürümlenmiş veri setiyle değiştirin. Bu kod üretim tarifi değil, başlangıç biçimidir.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen3-8B",
    max_seq_length=2048,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
)

04 / Donanım zarfları

Deneyi bellek bütçesiyle eşleştir

Üretici tarafından bildirilen sığma değerleri planlama referansıdır. Satın almadan önce gerçek dizi uzunluğu, batch, optimizer, hassasiyet ve checkpoint stratejisini ölçün.

16–24 GB VRAM

Lokal QLoRA laboratuvarı

Qwen3-8B ve daha küçük Qwen3.5 türevleri pratik başlangıçlardır. Unsloth, Qwen3-14B'nin 16 GB T4'e sığdığını bildirir; gerçek ihtiyaç dizi uzunluğu, batch, optimizer ve checkpoint ayarına bağlıdır.

48–96 GB VRAM

Daha derin uyarlama pilotu

Daha büyük dense modelleri veya 30–35B MoE adaptörlerini deneyin. Unsloth, Qwen3.5-27B bf16 LoRA için yaklaşık 56 GB, Qwen3.5-35B-A3B için 74 GB bildirir.

Çoklu GPU kümesi

Öncü model sunumu ve değerlendirme

Kimi, büyük Qwen ve GLM referansları çok daha fazla hızlandırıcı belleği, depolama, ağ ve işletim gerektirir. Bunları iş istasyonu projesi değil, paylaşımlı altyapı olarak ölçün.

Unsloth'a atfedilen bellek değerleri üretici tarafından bildirilen örneklerdir; PULSAR ölçüm sonucu değildir. Her deney tarihinde altyapı maliyetini ve sığma durumunu yeniden hesaplayın. Yöntem kaynağı ↗

05 / Sürüm kapısı

Eğitilmiş model henüz güvenilir model değildir

Açık ağırlık; otomatik olarak açık kaynak, sınırsız ticari kullanım veya kabul edilebilir risk anlamına gelmez. Her aday lisans, veri, değerlendirme ve işletim incelemesinden geçmelidir.

  • Eğitimden önce sırları ve doğrudan kimlik belirteçlerini kaldırın.
  • Eğitim, doğrulama ve nihai değerlendirme kümelerini ayırın.
  • Hedeflenen kullanım için model lisansını ve veri haklarını inceleyin.
  • Ezberleme, güvensiz tamamlama ve yetki sınırı gerilemelerini sınayın.
  • Her adaptörü eksiksiz köken bilgisiyle kaydedin.
  • İsimlendirilmiş insan sorumlusu ve sınanmış geri dönüş yolu zorunlu olsun.

Sistemin arkasındaki düşünce

Model seçimi neden bir portföy kararıdır?

Her durumda en güçlü olan tek bir model yoktur. Bir model; gerçek iş yükünün kalite, gecikme, dil, kip, lisans, gizlilik ve işletim maliyeti ihtiyaçlarını uygulanabilir güven sınırı içinde karşıladığında kurum için güçlüdür.

Project PULSAR bu nedenle lokal uyarlama adaylarını öncü referanslardan ayırır. Kompakt bir model, yüksek hacimli yapılandırılmış görev için doğru sistem olabilir; öncü ölçekte bir mixture-of-experts model ise altyapı ihtiyacı gerekçelendirilene kadar paylaşımlı değerlendirme hedefi olarak kalabilir.

İnce ayar neyi değiştirmeli?

İnce ayar; görev biçimi, alan terminolojisi, yanıt yapısı, sınıflandırma sınırları veya araç çağırma örüntüleri gibi davranışları daha tutarlı hale getirebilir. Değişen gerçekler veya özel kayıtlar için izin farkındalıklı erişimin yerini almamalıdır.

En güvenli ilerleme; istem ve araç tasarımı, yönetişimli erişim, LoRA, QLoRA ve ancak sonrasında daha kapsamlı eğitimdir. Her adım, ayrılmış kalite ve güvenlik testlerinde daha basit başlangıcı geçmelidir.

PULSAR araştırma yaklaşımı

Açık ağırlıklar; model artefaktlarını inceleme, değerlendirme, lokal sunma ve uyarlama özgürlüğü sağlar. Lisans yükümlülüklerini, veri haklarını, gizlilik riskini, işletim sahipliğini veya insan yetkisi ihtiyacını ortadan kaldırmaz.

Model adları ve bulunabilirliği de sürümlenmiş kanıttır. Bu sayfa doğrulama tarihini kaydeder ve resmî model kartlarına bağlanır. Gelecekteki bir Kimi K3 sürümü ancak resmî ağırlıklar, model kartı, lisans ve sağlama toplamları bağımsız olarak doğrulanabildiğinde referans setine girer.