RapidFire AI Entegrasyonu

RapidFire AI, daha kolay, hızlı ve etkili yapay zeka özelleştirmesi için hızlı deneysel çalışmalara olanak tanır. LLM'lerin ve diğer DL modellerinin ajan tabanlı RAG, bağlam mühendisliği, ince ayar ve eğitim sonrası süreçleri için tasarlanmıştır ve ek kaynak gerektirmeden 16-24 kat daha yüksek verimlilik sağlar. İki ana kullanım senaryosunu destekler:

İnce ayar ve eğitim sonrası: Öğrenme oranlarını, LoRA yapılandırmalarını, parti boyutlarını ve diğer eğitim hiperparametrelerini karşılaştırın
RAG optimizasyonu: Parçalama stratejilerini, gömme modellerini, geri getirme yaklaşımlarını ve yeniden sıralama ayarlarını değerlendirin

Deneyler çalıştırılırken, genellikle birçok yapılandırma eşzamanlı olarak çalışır. RapidFire AI, tüm bu çalıştırmaları en az kurulumla izlemek ve görselleştirmek için yerel Trackio entegrasyonu sağlar.

Kurulum

Trackio, RapidFire AI'nin bir bağımlılığı olarak dahildir:

pip install rapidfireai

Yapılandırma

RapidFire bileşenlerini içe aktarmadan önce ortam değişkenlerini ayarlayarak Trackio'yu izleme arka ucu olarak etkinleştirin:

import os

# Enable Trackio as the tracking backend
os.environ["RF_TRACKIO_ENABLED"] = "true"

# Optionally disable other tracking backends for standalone Trackio usage
os.environ["RF_MLFLOW_ENABLED"] = "false"
os.environ["RF_TENSORBOARD_ENABLED"] = "false"

Ayrıca Trackio proje adını da ayarlayabilirsiniz:

export TRACKIO_PROJECT_NAME="my-experiment"

İnce Ayar Örneği

Tamamen çalışan örnekler için eğitim defterlerine bakın:

Trackio izleme ile bir ince ayar deneyi çalıştıran minimal bir örnek:

import os
os.environ["RF_TRACKIO_ENABLED"] = "true"

from rapidfireai import Experiment
from rapidfireai.automl import RFGridSearch, RFModelConfig, RFLoraConfig, RFSFTConfig

experiment = Experiment(experiment_name="my-sft-experiment", mode="fit")

config = RFModelConfig(
    model_name="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    peft_config=RFLoraConfig(r=8, lora_alpha=16, target_modules=["q_proj", "v_proj"]),
    training_args=RFSFTConfig(
        learning_rate=1e-4,
        max_steps=128,
        logging_steps=2,
        eval_strategy="steps",
        eval_steps=4,
    ),
    model_type="causal_lm",
)

experiment.run_fit(
    RFGridSearch(configs=[config], trainer_type="SFT"),
    create_model_fn,
    train_dataset,
    eval_dataset,
    num_chunks=4
)

RAG Optimizasyon Örneği

Tamamen çalışan örnekler için eğitim defterlerine bakın:

RapidFire AI, RAG hattı optimizasyonunu da destekler. Trackio izlemeyi aynı şekilde etkinleştirin:

import os
os.environ["RF_TRACKIO_ENABLED"] = "true"

from rapidfireai import Experiment
from rapidfireai.evals.automl import List, RFGridSearch, RFLangChainRagSpec, RFvLLMModelConfig

experiment = Experiment(experiment_name="my-rag-experiment", mode="evals")

rag_spec = RFLangChainRagSpec(
    document_loader=your_document_loader,
    text_splitter=your_text_splitter,
    embedding_cls=your_embedding_class,
    search_kwargs={"k": List([5, 10])},  # 2 retrieval configs to compare
)

config_group = RFGridSearch({
    "vllm_config": RFvLLMModelConfig(rag=rag_spec, ...),
    "batch_size": 32,
    ...
})

experiment.run_evals(
    config_group=config_group,
    dataset=eval_dataset,
    num_actors=1,
    num_shards=4,
)

Ne Takip Edilir

RapidFire AI aşağıdakileri Trackio'ya otomatik olarak kaydeder:

İnce Ayar Metrikleri:

loss, learning_rate, epoch, step - Eğitim ilerlemesi
eval_loss - Doğrulama kaybı
compute_metrics işlevinizden gelen özel metrikler (ör. rougeL, bleu)

RAG Değerlendirme Metrikleri:

Geri getirme metrikleri: Precision, Recall, F1 Score, NDCG@K, MRR
Üretim metrikleri: Tanımladığınız özel metrikler (ör. Accuracy)

Çalıştırma Yapılandırması:

Her çalıştırma için tüm hiperparametreler
Model ayarları, LoRA yapılandırmaları, parçalama stratejileri vb.

Paneli Görüntüleme

Deneylerinizi görselleştirmek için Trackio panelini başlatın:

trackio show --project "my-sft-experiment"

Veya Python'dan:

import trackio
trackio.show(project="my-sft-experiment")

Panel, tüm çalıştırmalarınız için gerçek zamanlı eğitim eğrilerini görüntüler ve yapılandırmaları yan yana karşılaştırmayı kolaylaştırır:

Trackio dashboard showing RapidFire AI fine-tuning metrics

Farklı hiperparametrelerle 4 ince ayar çalışmasını karşılaştıran Trackio paneli. Grafikler, eğitim kaybını, doğrulama kaybını, öğrenme oranı zamanlamalarını ve ROUGE-L puanlarını gösterir; bu da en düşük kaybı ve en iyi üretim kalitesini hangi yapılandırmanın (turuncu renkteki 4. Çalışma) sağladığını belirlemeyi kolaylaştırır.

Belgeler:

RapidFire AI Belgeleme - Başlangıç kılavuzu
RapidFire AI GitHub - Kaynak kod ve eğitimler

Update on GitHub