LLaMA-Factory Online

LLaMA-Factory Online製品情報

LLaMA-Factory Online とは？

LLaMA-Factory Online [email protected]とは、人気のオープンソースプロジェクト「LLaMA-Factory」との協業により開発された、LLMのトレーニングおよびファインチューニングのための公式クラウドプラットフォームです。ファインチューニングを簡素化したいユーザーや、エンジニアリングリソースが限られているユーザー向けに、すぐに使えるローコードのエンドツーエンドソリューションを提供します。

LLaMA-Factory Online の使い方

3つの簡単なステップで微調整を開始しましょう：1. データとモデルの準備：SFTPやその他のサポートされている方法を使用して、データセットを簡単にアップロードします。2. 設定と実行：ベースモデルを選択し、ビジュアルインターフェースで主要な設定を調整します。迅速なセットアップには「クイックモード」、高度なオプションには「エキスパートモード」を選択してください。 予算やスケジュールに合った料金プランを選択し、ワンクリックでタスクを開始します。3. モニタリングと評価：LlamaBoardやTensorBoardなどの組み込みツールを使用して、トレーニングの損失やリソース使用状況をリアルタイムで追跡します。トレーニング終了後は、「Model Evaluation」で結果を評価するか、「Model Chat」を使用して即座にパフォーマンスをテストできます。

LLaMA-Factory Online主な機能

豊富なモデルライブラリ（100以上のモデル）：LLaMA、Qwen、DeepSeek、GPT-OSSなど、100以上の主要なオープンソースモデルにアクセスできます。

包括的なトレーニング手法：プレトレーニングやSFT（教師あり微調整）から、PPO、DPO、KTOなどの報酬モデリングやアラインメント手法に至るまで、トレーニングプロセス全体をサポートします。

柔軟な精度と量子化：16 ビットのフルファインチューニング、フリーズチューニング、LoRA、および 2/3/4/5/6/8 ビットの量子化をサポートする QLoRA を使用して、リソース使用量をカスタマイズできます。

最先端の最適化アルゴリズム：GaLore、BAdam、LoRA+、PiSSA、DoRA、rsLoRAなどの統合された高度な最適化機能を活用できます。

堅牢な実験追跡：LlamaBoard、TensorBoard、WandB、MLflow、SwanLab の組み込みサポートにより、トレーニングの進捗をリアルタイムで監視できます。

高効率なアクセラレーション：TransformersおよびvLLM推論エンジンの両方に対応したFlashAttention-2およびUnslothアクセラレーションにより、パフォーマンスを向上させます。

LLaMA-Factory Onlineユースケース

中国語作文の自動採点システム：Qwen3-vl-30B-A3B-Instruct を使用して、インテリジェントな採点とフィードバックを提供します。

専門的なAIチケット対応アシスタント：Qwen2.5-14B-Instructで構築されたカスタムカスタマーサービスエージェント。

大規模 MoE モデルの低コストな微調整：KTransformers 最適化を使用して DeepSeek-V3 を効率的に微調整します。

医療画像解析：Qwen3-vl-30B-A3B-Instructで微調整された医療診断アプリケーション。

軽量スマートホームモデル：効率的なエッジベースのホームオートメーション制御のために Qwen3-4B を導入。

法務AIエージェント：LightLLMとLlamaIndexを用いて開発された専門的な法務アシスタント。

よくある質問LLaMA-Factory Online

微調整の結果が思わしくない場合、モデルの性能を向上させるにはどうすればよいですか？

1. データセットの拡張：より大規模なトレーニングデータセットを使用します。2. トレーニング時間の延長：エポック数（例：num_train_epochs: 5.0）または総ステップ数（例：max_steps: 1000）を増やします。3. 学習率の調整：学習率を高く（例：2.0e-4）設定してみてください。4. 微調整方法の切り替え：finetuning_type設定を使用して、freeze（パラメータ凍結）やfull（全パラメータ調整）など、異なるアプローチを試してみてください。

トレーニング中に発生する「CUDA Out of Memory」（OOM）エラーはどのように解決すればよいですか？

GPU メモリの問題が発生した場合は、以下の最適化を試してください：1. バッチサイズの縮小：per_device_train_batch_size を 1 に設定します。2. オペレータの最適化：enable_liger_kernel および use_unsloth_gc を true に設定して、メモリ効率の高いカーネルを有効にします。 3. シーケンスの長さを短縮する：cutoff_len を減らします（例：512）。4. 高度な並列処理を使用する：DeepSpeed ZeRO-3 または FSDP を有効にしてモデル重みをデバイス間で分散させるか、CPU オフロードを使用します。5. 量子化を適用する：quantization_bit を 4 に設定してパラメータを圧縮します（LoRA ファインチューニングでのみ利用可能）。

意味不明または反復的なモデル出力を修正するにはどうすればよいですか？

解決策は、問題がいつ発生するかによって異なります：トレーニング「前」に発生する場合：これは、多くの場合、未調整のベースモデル（アラインメント未実施）の使用や、不適切なプロンプトテンプレートが原因です。アラインメント済みのInstruct/Chatモデルと正しいテンプレートを使用していることを確認してください。トレーニング「後」に発生する場合：テンプレートの整合性を確認してください：推論用テンプレートが、トレーニング中に使用されたテンプレートと一致していることを確認してください。 過学習に注意：モデルが過学習している場合は、トレーニングエポック数（num_train_epochs）を減らし、学習率を下げてください。

LLaMA-Factory Online サポートメール、カスタマーサービス、返金に関するお問い合わせなど

LLaMA-Factory Online のカスタマーサポートへのお問い合わせは、[email protected]まで。 その他の連絡方法については、「お問い合わせ」ページ（mailto:[email protected]）をご覧ください。

LLaMA-Factory Onlineスクリーンショット