콘텐츠로 이동
1337skills 1337skills - 치트시트

2026년 LLM 파인튜닝: Axolotl vs Unsloth vs TorchTune vs TRL

· 13 min read · default
llmfine-tuningmachine-learningaideep-learningdevops

소개

2026년 LLM 파인튜닝 환경은 그 어느 때보다 더 강력하면서도 더 파편화되어 있습니다. 2년 전에는 파인튜닝이라고 하면 단일 GPU에서 YAML 설정과 기도 한 번으로 LoRA를 돌리는 것을 의미했습니다. 오늘날 팀들은 최소 다섯 개의 본격적인 프레임워크 중에서 선택하며, 각각 고유한 설계 철학, 성능 특성, 생태계 통합을 갖추고 있습니다. 프레임워크 선택은 훈련 속도, 메모리 효율성, 모델 품질, 훈련 파이프라인의 운영 복잡성에 실질적인 영향을 미칩니다.

이 가이드는 가장 널리 채택된 네 가지 파인튜닝 프레임워크인 Axolotl, Unsloth, TorchTune, TRL(Transformer Reinforcement Learning)에 대한 철저하고 실무 중심의 비교를 제공합니다. 아시아 ML 커뮤니티에서 강력한 위치를 확립한 LLaMA-Factory도 다룹니다. 각 프레임워크는 고유한 틈새를 개척했으며, 이러한 틈새를 이해하는 것이 정보에 기반한 선택을 하는 데 필수적입니다.

이 비교는 여러 모델 아키텍처, GPU 구성, 훈련 방법에 걸친 실제 훈련 실행을 기반으로 합니다. 이 가이드의 모든 벤치마크와 구성 예제는 2026년 초 현재 하드웨어와 소프트웨어 버전에서 검증되었습니다.

2026년 LLM 파인튜닝의 현황

2026년의 파인튜닝은 2024년과 근본적으로 다른 환경에서 운영됩니다. 기본 모델이 더 크고 더 유능해져서 파인튜닝이 종종 더 적은 예시로도 우수한 결과를 달성합니다. 양자화 인식 훈련은 4비트 파인튜닝 모델이 전체 정밀도 모델과 경쟁할 수 있을 정도로 성숙했습니다. DPO와 GRPO 같은 후처리 정렬 방법이 선호도 학습에서 RLHF를 크게 대체했으며, 도구들도 따라잡았습니다.

하드웨어 환경도 변화했습니다. NVIDIA의 H200과 AMD MI300X가 클라우드 환경에서 80GB+ VRAM을 접근 가능하게 만들었고, 32GB의 RTX 5090이 소비자급 훈련 카드의 표준이 되었습니다. FSDP를 통한 멀티 GPU 훈련이 더 긴밀한 PyTorch 통합 덕분에 많은 워크로드에서 DeepSpeed를 대체하며 표준 접근 방식이 되었습니다.

모델 측면에서 오픈 웨이트 생태계가 폭발적으로 성장했습니다. Llama 4, Mistral Large 2, Qwen 3, DeepSeek-V3 모두 파인튜닝을 위한 강력한 기본 모델을 제공합니다. 각 프레임워크의 모델 지원 범위가 핵심 차별화 요소가 되었습니다.

프레임워크 개요

Axolotl

Axolotl은 다중 방법 파인튜닝을 단순화하기 위한 커뮤니티 프로젝트로 시작하여 생태계에서 가장 기능이 풍부한 프레임워크로 성장했습니다. Hugging Face Transformers와 PEFT를 래핑하고 거의 모든 훈련 매개변수를 커버하는 YAML 기반 구성 시스템을 추가합니다. Axolotl의 강점은 폭넓음입니다: 다른 어떤 단일 프레임워크보다 더 많은 훈련 방법, 모델 아키텍처, 데이터셋 형식을 지원합니다.

Unsloth

Unsloth는 Axolotl과 반대 접근 방식을 취합니다. Hugging Face 스택을 래핑하는 대신 Triton을 사용하여 핵심 훈련 커널을 재구현하여 표준 구현 대비 2-5배의 속도 향상을 달성합니다. 단일 GPU 성능과 메모리 효율성에 집중하여 제한된 하드웨어 예산으로 작업하는 실무자에게 선택의 프레임워크가 됩니다.

TorchTune

TorchTune은 Meta의 공식 파인튜닝 프레임워크로, 네이티브 PyTorch 프리미티브 위에 처음부터 구축되었습니다. 가능한 한 외부 의존성을 피하고 서드파티 라이브러리 대신 torch.compile, DTensor, FSDP2를 사용합니다. 이를 통해 PyTorch 생태계와 가장 긴밀한 통합과 새로운 PyTorch 릴리스에서 가장 예측 가능한 동작을 제공합니다.

TRL

Hugging Face가 유지보수하는 TRL은 인간 피드백으로부터의 강화 학습 및 관련 후처리 방법을 위한 표준 라이브러리입니다. SFT를 지원하지만 핵심 강점은 정렬 훈련입니다: DPO, GRPO, KTO, ORPO 및 선호도 최적화 방법의 전체 계열. 주요 워크로드가 지도 파인튜닝이 아닌 정렬이라면 TRL이 자연스러운 출발점입니다.

LLaMA-Factory

LLaMA-Factory는 접근성에 중점을 둔 파인튜닝을 위한 웹 UI와 CLI를 제공합니다. Hugging Face Transformers를 래핑하고 다양한 방법과 모델을 지원합니다. 웹 인터페이스 덕분에 ML 엔지니어링 팀을 넘어 파인튜닝을 민주화하려는 팀에게 인기가 있습니다.

아키텍처와 설계 철학

이들 프레임워크 간의 아키텍처 차이는 표면적이지 않습니다. 파인튜닝 개발자 경험이 어떠해야 하는지에 대한 근본적으로 다른 신념을 반영합니다.

Axolotl의 아키텍처는 구성 중심입니다. 단일 YAML 파일이 기본 모델, 어댑터 유형, 데이터셋 형식, 훈련 하이퍼파라미터, 하드웨어 설정 등 모든 것을 지정합니다. 이는 Axolotl을 극도로 재현 가능하게 만듭니다. 누군가에게 YAML 파일을 주면 정확히 동일한 훈련 실행을 재현할 수 있습니다. 단점은 구성 공간이 방대하고 옵션 간의 관계가 항상 명확하지 않다는 것입니다:

base_model: meta-llama/Llama-4-Scout-17B-16E
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer

load_in_4bit: true
adapter: qlora
lora_r: 32
lora_alpha: 64
lora_dropout: 0.05
lora_target_linear: true

dataset_format: sharegpt
datasets:
  - path: /data/training/conversations.jsonl
    type: sharegpt
    conversation: chatml

sequence_len: 8192
sample_packing: true
pad_to_sequence_len: true

gradient_accumulation_steps: 4
micro_batch_size: 2
num_epochs: 3
learning_rate: 2e-4
lr_scheduler: cosine
warmup_steps: 100
optimizer: adamw_bnb_8bit

bf16: auto
tf32: true
flash_attention: true
gradient_checkpointing: true

wandb_project: llama4-finetune
wandb_run_id: scout-qlora-v1

Unsloth의 아키텍처는 어텐션, LoRA 순전파, 손실 계산의 표준 PyTorch 구현을 대체하는 커스텀 Triton 커널을 중심으로 합니다. API는 의도적으로 최소화되어 있습니다:

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="meta-llama/Llama-4-Scout-17B-16E",
    max_seq_length=8192,
    dtype=None,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                     "gate_proj", "up_proj", "down_proj"],
    lora_alpha=64,
    lora_dropout=0,
    bias="none",
    use_gradient_checkpointing="unsloth",
    random_state=42,
)

TorchTune은 레시피 기반 아키텍처를 사용합니다. 각 훈련 방법은 읽고, 이해하고, 수정할 수 있는 독립적인 Python 스크립트("레시피")입니다. 구성은 TOML 파일을 사용합니다:

[model]
_component_ = "torchtune.models.llama4.llama4_scout_17b_16e"

[tokenizer]
_component_ = "torchtune.models.llama4.llama4_tokenizer"
path = "/models/llama4-scout/tokenizer.model"

[dataset]
_component_ = "torchtune.datasets.chat_dataset"
source = "/data/training/conversations.jsonl"
conversation_style = "sharegpt"

[optimizer]
_component_ = "torch.optim.AdamW"
lr = 2e-4
weight_decay = 0.01

[training]
batch_size = 2
epochs = 3
gradient_accumulation_steps = 4
compile = true

TRL은 Hugging Face Trainer 패턴을 따르며 각 정렬 방법에 대한 특화된 트레이너로 확장합니다:

from trl import SFTTrainer, SFTConfig
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-4-Scout-17B-16E",
    torch_dtype="auto",
    attn_implementation="flash_attention_2",
)

training_args = SFTConfig(
    output_dir="./output",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    num_train_epochs=3,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_steps=100,
    bf16=True,
    max_seq_length=8192,
    packing=True,
    gradient_checkpointing=True,
)

peft_config = LoraConfig(
    r=32,
    lora_alpha=64,
    lora_dropout=0.05,
    target_modules="all-linear",
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    peft_config=peft_config,
)
trainer.train()

훈련 방법 지원

지원되는 훈련 방법의 범위는 프레임워크 간에 크게 다릅니다. 현재 지원 매트릭스는 다음과 같습니다:

SFT(Supervised Fine-Tuning)는 다섯 개 프레임워크 모두에서 지원됩니다. 이것은 기본 요건입니다. 차이점은 각 프레임워크가 SFT를 얼마나 효율적으로 구현하는지, 특히 샘플 패킹, 시퀀스 병렬 처리, 메모리 최적화 측면에서 나타납니다.

DPO(Direct Preference Optimization)는 TRL, Axolotl, LLaMA-Factory에서 완전히 지원됩니다. TorchTune은 2025년 말에 DPO 지원을 추가했습니다. Unsloth는 TRL 통합 레이어를 통해 DPO를 지원합니다.

GRPO(Group Relative Policy Optimization)는 DeepSeek의 연구 이후 추론 모델에 선호되는 정렬 방법으로 부상했습니다. TRL이 가장 성숙한 GRPO 구현을 보유합니다. Axolotl은 TRL 위임을 통해 지원합니다. TorchTune은 2026년 초부터 네이티브 GRPO를 제공합니다.

PPO를 사용한 RLHF는 TRL에서 여전히 지원되지만 대부분의 사용 사례에서 선호도가 떨어졌습니다. PPO 훈련 루프의 복잡성과 불안정성이 DPO와 GRPO를 매력적인 대안으로 만들었습니다.

QAT(Quantization-Aware Training)는 PyTorch의 양자화 프리미티브를 통해 TorchTune에서 네이티브로 지원됩니다. Unsloth는 커스텀 커널을 통해 QAT를 지원합니다. Axolotl과 TRL은 bitsandbytes 및 GPTQ와의 통합을 통해 QAT를 지원합니다.

단일 GPU 성능 비교

단일 GPU 성능은 프레임워크 간 가장 극적인 차이를 보이는 영역입니다. 동일한 데이터셋, 하이퍼파라미터, 하드웨어(NVIDIA A100 80GB)를 사용하여 Llama 3.1 8B QLoRA 파인튜닝에서 네 가지 모두를 벤치마킹했습니다.

훈련 구성: QLoRA r=32, 시퀀스 길이 4096, 배치 크기 2, 그래디언트 누적 4, 1000 스텝, BF16 정밀도.

Unsloth는 일관되게 가장 빠른 단일 GPU 훈련을 제공하며, 동일 구성에서 일반적으로 TRL보다 2-3배 빠릅니다. 속도 향상은 세 가지 소스에서 비롯됩니다: 여러 연산을 단일 GPU 커널 런치로 결합하는 퓨즈드 Triton 커널, 풀랭크 중간 텐서의 물질화를 피하는 커스텀 LoRA 구현, 재계산을 줄이는 최적화된 그래디언트 체크포인팅 구현.

torch.compile이 활성화된 TorchTune은 더 긴 훈련 실행에서 TRL 대비 약 1.5배 속도 향상을 달성하지만, 컴파일 단계에서 수 분의 시작 오버헤드가 추가됩니다. 30분 미만의 짧은 파인튜닝 실행에서는 이 컴파일 비용이 런타임 개선을 상쇄할 수 있습니다.

Axolotl의 성능은 동일한 Hugging Face 훈련 루프를 사용하기 때문에 동등한 구성에서 TRL과 본질적으로 동일합니다. Axolotl의 가치는 순수 속도가 아닌 구성 편의성에 있습니다.

메모리 효율성도 유사한 패턴을 따릅니다. Unsloth의 커스텀 커널은 표준 구현 대비 최대 메모리 사용량을 30-50% 줄여, 다른 프레임워크에서는 그래디언트 오프로딩이나 더 큰 카드가 필요한 경우에도 단일 GPU에서 훈련할 수 있게 해줍니다.

멀티 GPU 확장

멀티 GPU 훈련에서는 환경이 변합니다. TorchTune은 PyTorch의 FSDP2와 DTensor 프리미티브 위에 직접 구축하기 때문에 가장 강력한 멀티 GPU 스토리를 가지고 있습니다:

tune run --nproc_per_node 8 full_finetune_distributed \
  --config llama4_scout/17B_full.toml

TRL과 Axolotl은 FSDP 또는 DeepSpeed를 래핑하는 Hugging Face Accelerate를 분산 훈련에 사용합니다:

accelerate launch --num_processes 8 \
  --mixed_precision bf16 \
  --use_fsdp \
  --fsdp_sharding_strategy FULL_SHARD \
  train.py

Unsloth의 멀티 GPU 지원은 역사적으로 가장 약한 영역이었습니다. 커스텀 Triton 커널은 단일 GPU 실행을 위해 설계되었으며, 2025년과 2026년을 거치며 멀티 GPU 지원이 개선되었지만 여전히 대안보다 더 많은 수동 구성이 필요합니다.

여러 노드에 걸친 대규모 훈련 실행에서는 TorchTune과 TRL/Axolotl의 DeepSpeed 통합이 가장 실전에서 검증된 옵션입니다. TorchTune의 장점은 Accelerate, DeepSpeed, Transformers 간에 때때로 발생하는 버전 호환성 문제를 피할 수 있다는 것입니다.

구성 및 개발자 경험

개발자 경험은 초기 설정을 넘어 디버깅, 재현성, 새 팀원의 학습 곡선까지 포괄합니다.

Axolotl의 YAML 구성은 동시에 가장 큰 강점이자 약점입니다. 단일 YAML 파일이 훈련 실행을 완전히 지정하여 재현을 사소하게 만듭니다. 그러나 YAML 파일이 수백 줄까지 늘어날 수 있고, 덜 일반적인 옵션의 문서화가 때때로 불완전합니다. 구성 문제를 디버깅하는 것은 종종 GitHub 이슈를 검색하는 것을 의미합니다.

Unsloth는 가장 파이썬스러운 경험을 제공합니다. 구성이 곧 코드이므로 IDE가 자동 완성과 타입 검사를 제공합니다. PyTorch에 익숙한 사람이라면 학습 곡선이 완만합니다. 단점은 재현성이 선언적 구성 파일이 아닌 Python 스크립트 공유를 필요로 한다는 것입니다.

TorchTune은 TOML 구성과 레시피 아키텍처로 중간 지점을 찾습니다. 레시피는 실행 가능한 코드이자 문서 역할을 하는 읽기 쉬운 Python 파일입니다. 문제가 발생하면 레시피 소스 코드를 읽고 실행 흐름을 이해할 수 있습니다. 이 투명성은 훈련 프로세스를 이해하고 수정해야 하는 팀에게 가치가 있습니다.

TRL은 익숙한 Hugging Face Trainer 패턴을 따릅니다. 팀이 이미 추론과 데이터 처리에 Hugging Face를 사용하고 있다면 TRL은 가장 적은 새로운 학습을 필요로 합니다. TrainingArguments 패턴은 잘 문서화되어 있고 널리 이해되고 있습니다.

메모리 최적화 기법

메모리 효율성은 보유한 하드웨어에서 훈련할 수 있는지를 결정합니다. 각 프레임워크는 서로 다른 기법을 제공합니다:

# Unsloth: automatic memory-efficient LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=32,
    use_gradient_checkpointing="unsloth",  # 60% less VRAM than standard
)

# TorchTune: activation checkpointing with selective recomputation
from torchtune.training import ActivationCheckpointing
model = ActivationCheckpointing(model, checkpoint_every_n_layers=2)

그래디언트 체크포인팅은 보편적으로 지원되지만 구현이 다릅니다. Unsloth의 구현은 가장 메모리 효율적이며 가장 저렴한 연산만 선택적으로 재계산합니다. TorchTune의 구현은 가장 구성 가능하여 레이어 수준의 세분성을 허용합니다.

CPU 오프로딩은 옵티마이저 상태를 CPU RAM으로 이동시켜 훈련 속도를 대가로 GPU 메모리 요구 사항을 극적으로 줄입니다. TRL과 Axolotl은 DeepSpeed ZeRO Stage 3를 통해 이를 지원합니다:

{
  "zero_optimization": {
    "stage": 3,
    "offload_optimizer": {
      "device": "cpu",
      "pin_memory": true
    },
    "offload_param": {
      "device": "cpu",
      "pin_memory": true
    }
  }
}

양자화된 옵티마이저는 표준 Adam을 메모리의 일부만 사용하는 8비트 또는 4비트 변형으로 대체합니다. 모든 프레임워크가 bitsandbytes 8비트 Adam을 지원합니다. Unsloth는 추가로 커스텀 양자화 옵티마이저 구현을 제공합니다.

언제 무엇을 사용할 것인가: 결정 매트릭스

프레임워크 선택은 벤치마크 헤드라인이 아닌 구체적인 요구 사항에 따라 결정되어야 합니다.

단일 GPU로 작업하며 최대 훈련 속도와 메모리 효율성이 필요할 때 Unsloth를 선택하세요. 개인 실무자, 소규모 팀, 소비자 하드웨어나 단일 클라우드 GPU에서 훈련하는 모든 시나리오에서 Unsloth가 확실한 승자입니다. RTX 4090이나 단일 A100에서 QLoRA를 실행한다면 Unsloth가 가장 빠르게 목표에 도달시켜줍니다.

가장 긴밀한 PyTorch 통합으로 멀티 GPU 풀 파인튜닝이 필요할 때 TorchTune을 선택하세요. 대규모 훈련 작업을 실행하고, PyTorch 버전 간 재현성이 필요하며, 외부 의존성을 최소화하려는 팀에게 적합합니다. Meta의 Llama 모델을 파인튜닝한다면 새로운 Llama 아키텍처에 대한 퍼스트파티 지원을 받으므로 최선의 선택입니다.

주요 워크로드가 정렬 훈련(DPO, GRPO, KTO, ORPO)일 때 TRL을 선택하세요. TRL은 가장 성숙하고 완전한 선호도 최적화 방법 구현을 보유합니다. 워크플로가 Hugging Face 생태계에 깊이 통합되어 있다면 자연스러운 선택입니다.

단일 도구에서 최대 유연성이 필요할 때 Axolotl을 선택하세요. Axolotl은 다른 어떤 프레임워크보다 더 많은 모델 아키텍처, 훈련 방법, 데이터셋 형식을 지원합니다. 다양한 모델을 훈련하고 단일하고 일관된 인터페이스가 필요한 팀에게 적합합니다.

비ML 엔지니어가 파인튜닝 작업을 실행할 수 있게 해야 할 때 LLaMA-Factory를 선택하세요. 웹 UI가 진입 장벽을 크게 낮추고, CLI는 스크립트 워크플로에 간단합니다.

데이터셋 준비 및 형식 처리

파인튜닝 프레임워크를 선택할 때 가장 과소평가되는 측면 중 하나는 데이터셋 준비를 어떻게 처리하는가입니다. 실제 훈련 데이터는 지저분하고, 일관성이 없으며, 프레임워크가 기본적으로 기대하는 정확한 형식인 경우가 드뭅니다.

Axolotl은 ShareGPT, Alpaca, OpenAI 채팅 완성, 커스텀 필드 매핑이 있는 JSONL, 원시 완성 형식을 포함하여 12가지 이상의 데이터셋 형식을 지원하여 여기서 뛰어납니다. 데이터셋 전처리 파이프라인이 토큰화, 채팅 템플릿 적용, 샘플 패킹을 한 번의 패스로 처리합니다:

datasets:
  - path: /data/sharegpt_conversations.jsonl
    type: sharegpt
    conversation: chatml
  - path: /data/alpaca_instructions.jsonl
    type: alpaca
  - path: /data/completions.jsonl
    type: completion
    field_instruction: prompt
    field_output: response

TRL은 표준 Hugging Face datasets 라이브러리를 사용하고 메시지 배열이 있는 대화 형식의 데이터를 기대합니다. 커스텀 형식을 변환하려면 전처리 함수를 작성해야 합니다:

from datasets import load_dataset

def format_conversations(example):
    messages = []
    for turn in example["conversation"]:
        messages.append({
            "role": turn["from"],
            "content": turn["value"]
        })
    return {"messages": messages}

dataset = load_dataset("json", data_files="/data/training.jsonl")
dataset = dataset.map(format_conversations)

Unsloth는 데이터셋 처리를 사용자에게 위임하며, 일반적인 형식에 대한 헬퍼 함수를 제공하지만 전처리는 직접 처리할 것을 기대합니다. 이는 더 많은 보일러플레이트 코드를 대가로 최대 유연성을 제공합니다.

TorchTune은 일반적인 형식에 대한 데이터셋 빌더를 제공하고 데이터셋 구성에서 타입 안전성을 강조합니다. 데이터셋 클래스가 훈련 전에 각 예제의 구조를 검증하여 긴 훈련 실행 중이 아닌 일찍 형식 문제를 감지합니다.

여러 짧은 예제를 단일 시퀀스로 연결하여 GPU 활용도를 최대화하는 샘플 패킹은 가변 길이 예제가 있는 데이터셋에서 핵심 최적화입니다. Axolotl과 TRL은 샘플 패킹을 네이티브로 지원합니다. Unsloth는 자체 최적화된 패킹 알고리즘을 구현합니다. TorchTune은 2025년 중반에 샘플 패킹을 추가했으며 교차 예제 어텐션 마스킹과 같은 엣지 케이스를 올바르게 처리합니다.

훈련 중 평가 및 벤치마킹

훈련 중 모델 품질을 평가하는 것은 과적합 감지, 최적 체크포인트 선택, 실행 비교에 필수적입니다. 각 프레임워크는 훈련 중 평가에 다르게 접근합니다.

TRL은 평가 데이터셋, 커스텀 메트릭 콜백, 자동 최적 체크포인트 선택을 지원하는 Hugging Face Trainer를 기반으로 하기 때문에 가장 매끄러운 평가 통합을 제공합니다:

from trl import SFTConfig

training_args = SFTConfig(
    output_dir="./output",
    evaluation_strategy="steps",
    eval_steps=100,
    save_strategy="steps",
    save_steps=100,
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    per_device_eval_batch_size=4,
)

Axolotl은 YAML 구성을 통해 평가 빈도, 메트릭 선택, 체크포인트 관리에 대한 유사한 옵션으로 평가를 지원합니다. 평가 메트릭 기반 조기 중단도 지원합니다:

eval_steps: 100
save_steps: 100
eval_batch_size: 4
early_stopping_patience: 5
load_best_model_at_end: true

TorchTune의 레시피 아키텍처는 평가 로직이 레시피 Python 파일 자체에 존재함을 의미하며, 어떤 메트릭이 언제 계산되는지에 대한 완전한 제어를 제공합니다. 커스텀 평가 로직을 추가하거나, 벤치마크 스위트를 실행하거나, 훈련 중에 샘플 출력을 생성할 수도 있습니다:

# Inside a TorchTune recipe
if step % eval_interval == 0:
    model.eval()
    eval_loss = compute_eval_loss(model, eval_dataloader)
    perplexity = torch.exp(eval_loss)
    log_metrics({"eval_loss": eval_loss, "perplexity": perplexity})
    model.train()

Unsloth는 내장 평가 훅을 포함하지 않으며, 사용자가 외부에서 평가를 구현하거나 TRL의 평가 인프라가 적용되는 TRL SFTTrainer 내에서 Unsloth를 사용하는 것에 의존합니다.

정렬 훈련의 경우 평가는 손실 곡선보다 더 미묘합니다. TRL은 DPO 훈련 중 참조 모델에 대한 승률 평가를 지원하여 정렬된 모델이 의도한 방향으로 개선되고 있는지에 대한 직접적인 측정을 제공합니다.

프로덕션 배포 고려사항

파인튜닝은 결과 모델이 안정적으로 배포될 수 있을 때만 가치가 있습니다. 각 프레임워크는 다른 내보내기 및 배포 스토리를 가지고 있습니다.

모든 프레임워크는 표준 Hugging Face 모델 형식을 내보내며, vLLM, TGI 또는 Hugging Face 모델 허브 형식을 지원하는 모든 추론 프레임워크에서 서빙할 수 있습니다. LoRA 어댑터는 배포 전에 기본 모델에 병합하거나 동적 어댑터 로딩을 지원하는 프레임워크를 사용하여 별도로 서빙할 수 있습니다.

Unsloth는 llama.cpp 및 Ollama 배포를 위한 최적화된 GGUF 내보내기를 제공합니다:

model.save_pretrained_gguf(
    "output_model",
    tokenizer,
    quantization_method="q4_k_m"
)

TorchTune은 모바일 및 엣지 배포를 위해 ExecuTorch와 통합되며, 배포 대상이 클라우드 서버를 넘어서는 경우 고유한 장점입니다.

프로덕션 훈련 파이프라인의 경우 훈련 워크플로를 컨테이너화하는 것을 고려하세요:

docker run --gpus all -v /data:/data -v /models:/models \
  axolotl-train:latest \
  accelerate launch -m axolotl.cli.train /data/config.yaml

프레임워크, PyTorch, CUDA 툴킷의 버전을 고정하세요. 훈련 결과는 버전 간에 크게 다를 수 있으며, 환경 간 비재현성을 디버깅하는 것은 ML 운영에서 가장 시간이 많이 소요되는 문제 중 하나입니다.

어떤 프레임워크를 선택하든 첫날부터 실험 추적에 투자하세요. Weights and Biases, MLflow, 또는 구조화된 로그 디렉토리라도 훈련 실행 간 결과를 비교해야 할 때 수 시간의 혼란을 절약해줄 것입니다. 모든 프레임워크가 W&B 통합을 지원하며, 캡처하는 메타데이터(구성, 하드웨어, 훈련 곡선, 평가 메트릭)는 모델 품질과 훈련 효율성에 대한 정보에 기반한 결정을 내리는 데 필수적입니다.