Amazon Bedrock Model Distillation

Model Distillation を使用すると、顧客はユースケースに合った精度を達成したい「教師」モデルを選択し、次にファインチューニングしたい「学生」モデルを選択できます。また、お客様はユースケースのプロンプトも提供します。Model Distillation は、教師からの回答を生成し、その回答を使用して学生モデルをファインチューニングするプロセスを自動化します。そうすれば、学生モデルも同様の精度で教師モデルのように動作し、コストも削減できます。Model Distillation は、Amazon Nova Premier (教師) と Nova Pro (生徒)、Claude 3.5 Sonnet v2 (教師)、Llama 3.3 70B (教師)、Llama 3.2 1B/3B (生徒) など、さまざまなモデルプロバイダーのさまざまなモデルをサポートしています。

小規模でコスト効率の高いモデルをファインチューニングして、特定のユースケースに合わせて大規模モデルと同等の精度を実現するには、反復プロセスが必要です。より良い結果を得るために必要なイテレーションの負担をいくらか取り除くために、Model Distillation はユースケースに最も適したさまざまなデータ合成方法を適用することを選択することがあります。例えば、Bedrock では、同様のプロンプトを生成してトレーニングデータセットを拡張したり、顧客が提供したプロンプトとレスポンスのペアをゴールデンサンプルとして使用して高品質の合成応答を生成したりすることがあります。

従来の微調整では、お客様はプロンプトとレスポンスを作成する必要がありました。Model Distillation では、顧客はプロンプトを入力するだけでよく、Model Distilation はそれを使用して合成応答を生成し、学生モデルをファインチューニングします。お客様は呼び出しログに誘導したり、特定のメタデータフィールドに基づいてログをフィルタリングしたりできます。Model Distillation では、呼び出しログを介してプロンプトとレスポンスの両方を読み取ることができ、Model Distillation ワークフローでの合成応答の生成をスキップできます。これにより、教師モデルから応答を再度生成する必要がなくなるため、コストが削減されます。コードサンプルから始めましょう。