Amazon Bedrock Model Distillation

Model Distillation을 통해 고객은 사용 사례에서 정확도를 달성하려는 '교사' 모델을 선택한 다음 미세 조정하려는 '학생' 모델을 선택할 수 있습니다. 또한 사용 사례에 대한 프롬프트도 제공합니다. Model Distillation은 교사 모델로부터 응답을 생성하고 이러한 응답을 사용하여 학생 모델을 미세 조정하는 프로세스를 자동화합니다. 그러면 학생 모델은 적은 비용으로 비슷한 정확도로 교사 모델처럼 작동할 수 있습니다. Model Distillation은 Amazon Nova Premier(교사) 및 Nova Pro(학생), Claude 3.5 Sonnet v2(교사), Llama 3.3 70B(교사) 및 Llama 3.2 1B/3B(학생) 등 다양한 모델 제공업체의 여러 모델을 지원합니다.

특정 사용 사례를 위해 더 작은 규모의 비용 효율적인 모델을 미세 조정하여 대규모 모델과 비슷한 정확도를 달성하는 것은 반복적인 프로세스입니다. Model Distillation은 더 나은 결과를 얻기 위해 필요한 반복의 부담을 덜어주기 위해 사용 사례에 가장 적합한 다양한 데이터 합성 방법을 적용할 수 있습니다. 예를 들어 Bedrock은 유사한 프롬프트를 생성하여 훈련 데이터세트를 확장하거나, 고객이 제공한 프롬프트 응답 쌍을 골든 예시로 사용하여 고품질의 합성 응답을 생성할 수 있습니다.

기존의 미세 조정 기능의 경우 고객이 프롬프트와 응답을 생성해야 합니다. Model Distillation을 사용하면 고객이 프롬프트만 제공하면 됩니다. 그러면 Model Distillation이 이 정보를 사용하여 합성 응답을 생성하고 학생 모델을 미세 조정합니다. 고객은 간접 호출 로그에 연결하도록 지시하고 특정 메타데이터 필드를 기반으로 로그를 필터링할 수도 있습니다. Model Distillation은 간접 호출 로그를 통해 프롬프트와 응답을 모두 읽고 Model Distillation 워크플로에서 합성 응답 생성 단계를 건너뛸 수 있으므로, 교사 모델에서 응답을 다시 생성할 필요가 없어 비용이 절감됩니다. 코드 샘플로 시작해 보세요.