HAQM Web Services 한국 블로그
HAQM Nova Premier 정식 출시, 복잡한 작업에 최적화된 성능 및 모델 증류 제공
오늘 저희는 복잡한 작업을 위한 가장 강력한 모델이자 모델 증류를 위한 교사용 모델인 HAQM Nova Premier의 정식 출시와 함께 AWS re:Invent에서 발표한 HAQM Nova 기초 모델 제품군을 확장합니다.
Nova Premier는 HAQM Bedrock에서 제공되는 기존 HAQM Nova 언더스탠딩 모델 중 하나입니다. Nova Lite 및 Pro와 마찬가지로 Premier는 입력 텍스트, 이미지 및 동영상(오디오 제외)을 처리할 수 있습니다. 고급 기능을 갖춘 Nova Premier는 여러 도구와 데이터 소스에서 컨텍스트에 대한 깊은 이해, 다단계 계획, 정밀한 실행이 필요한 복잡한 작업에 탁월한 성능을 발휘합니다. 컨텍스트 길이가 100만 토큰인 Nova Premier는 매우 긴 문서나 대규모 코드베이스를 처리할 수 있습니다.
Nova Premier 및 HAQM Bedrock Model Distillation을 사용하면 특정 요구 사항에 맞게 성능이 뛰어나고 비용 효율적이며 지연 시간이 짧은 Nova Pro, Lite 및 Micro 버전을 만들 수 있습니다. 예를 들어, 저희는 복잡한 도구 선택과 API 직접 호출을 위해 Nova Premier를 사용하여 Nova Pro를 증류했습니다. 증류된 Nova Pro는 기본 모델에 비해 API 간접접 호출 정확도가 20% 더 높았으며, 속도와 비용 면에서 Nova Pro의 이점과 함께 교사의 성능과 일관되게 일치했습니다.
HAQM Nova Premier 벤치마크 평가
텍스트 인텔리전스, 비주얼 인텔리전스 및 에이전트 워크플로 전반에 걸친 광범위한 벤치마크를 통해 Nova Premier를 평가했습니다. 아래 표에 표시된 17개 벤치마크에서 측정한 Nova Premier는 Nova 제품군 중 가장 성능이 뛰어난 모델입니다.
Nova Premier는 또한 업계 최고의 비추론 모델과 비교할 수 있으며, 동일한 인텔리전스 계층의 다른 모델과 비교했을 때 이러한 벤치마크의 약 절반에서 동등하거나 더 나은 성능을 보입니다. 이러한 평가에 대한 자세한 내용은 기술 보고서에서 확인할 수 있습니다.
또한 Nova Premier는 HAQM Bedrock의 인텔리전스 티어 중 가장 빠르고 비용 효율적인 모델입니다. 가격에 대한 자세한 내용 및 비교는 Bedrock 가격 페이지를 참조하세요.
Nova Premier는 증류용 교사 모델로도 사용할 수 있으므로 특정 사용 사례를 위한 고급 기능을 프로덕션 배포를 위해 Nova Pro, Micro 및 Lite와 같은 더 작고 빠르며 효율적인 모델로 전환할 수 있습니다.
HAQM Nova Premier 사용
Nova Premier를 시작하려면 먼저 HAQM Bedrock 콘솔에서 모델에 대한 액세스 권한을 요청해야 합니다. 탐색 창에서 모델 액세스로 이동하여 Nova Premier를 찾은 다음 액세스를 토글합니다.
액세스 권한이 부여되면 사용자와 어시스턴트의 메시지 목록을 입력으로 제공하는 HAQM Bedrock Converse API를 통해 Nova Premier를 사용할 수 있습니다. 메시지에는 텍스트, 이미지 및 비디오가 포함될 수 있습니다. 다음은 AWS SDK for Python(Boto3)을 사용한 간단한 간접 호출의 예입니다:
import boto3
import json
AWS_REGION = "us-east-1"
MODEL_ID = "us.amazon.nova-premier-v1:0"
bedrock_runtime = boto3.client('bedrock-runtime', region_name=AWS_REGION)
messages = [
{
"role": "user",
"content": [
{
“text”: “벡터 데이터베이스와 AI 애플리케이션을 위한 기존 관계형 데이터베이스의 차이점을 설명해 주세요.”
}
]
}
]
response = bedrock_runtime.converse(
modelId=MODEL_ID,
messages=messages
)
response_text = response["output"]["message"]["content"][-1]["text"]
print(response_text)
이 예는 복잡한 기술 관련 질문에 대해 Nova Premier가 어떻게 자세한 설명을 제공하는지 보여줍니다. 하지만 Premier의 진정한 힘은 정교한 워크플로를 처리할 수 있는 능력에서 비롯됩니다.
다중 에이전트 협업 사용 사례
Nova Premier가 투자 리서치를 위한 다중 에이전트 협업 아키텍처를 어떻게 작동하는지 보여주는 좀 더 복잡한 시나리오를 살펴보겠습니다.
주식 리서치 프로세스에는 일반적으로 특정 투자에 대한 관련 데이터 소스를 식별하고, 해당 소스에서 필요한 정보를 검색하고, 데이터를 실행 가능한 인사이트로 종합하는 등 여러 단계가 포함됩니다. 주가지수, 개별 주식, 통화 등 다양한 유형의 금융상품을 다룰 때는 이 과정이 점점 더 복잡해집니다.
전체 워크플로를 조율하는 수퍼바이저 에이전트를 지원하는 Nova Premier를 통해 HAQM Bedrock에서 다중 에이전트 협업을 사용하여 이러한 유형의 애플리케이션을 구축할 수 있습니다. 수퍼바이저 에이전트는 초기 쿼리(예: “재생 에너지 투자의 새로운 트렌드는 무엇인가요?”)를 분석하고, 이를 논리적 단계로 세분화하고, 어떤 전문 하위 에이전트가 참여할지 결정한 후 최종 응답을 종합합니다.
이 시나리오에서는 다음 구성 요소로 시스템을 만들었습니다.
- Nova Premier로 구동되는 수퍼바이저 에이전트
- 각각 다른 재무 데이터 소스에 초점을 맞춘 Nova Pro 기반의 여러 전문 하위 에이전트
- 재무 데이터베이스, 시장 분석 도구 및 기타 관련 정보 소스에 연결되는 도구
재생 에너지 투자의 새로운 동향에 대한 문의를 제출하면 Nova Premier에서 제공하는 수퍼바이저 에이전트가 다음을 수행합니다:
- 쿼리를 분석하여 다룰 기본 주제와 소스를 결정합니다.
- 해당 주제 및 소스에 맞는 적절한 하위 에이전트를 선택합니다.
- 각 하위 에이전트는 관련 경제 지표, 기술 분석 및 시장 심리 데이터를 검색합니다.
- 감독관 에이전트는 이 정보를 종합하여 금융 전문가가 검토할 수 있는 종합 보고서를 작성합니다.
이와 같은 다중 에이전트 협업 아키텍처에서 Nova Premier를 활용하면 재무 전문가의 업무가 간소화되고 투자 분석을 더 빠르게 공식화할 수 있습니다. 다음 동영상은 이 시나리오에 대한 시각적 설명을 제공합니다.
수퍼바이저 역할에 Nova Premier를 사용하는 주요 장점은 복잡한 워크플로를 정확하게 조정하여 올바른 데이터 소스를 최적의 순서로 참조하고 각 하위 에이전트가 업무에 필요한 정확한 정보를 입력받음으로써 더 높은 품질의 인사이트를 얻을 수 있다는 점입니다.
모델 증류를 통한 다중 에이전트 협업
Nova Premier는 자사 모델 제품군 중 가장 높은 수준의 정확도를 제공하지만 프로덕션 환경에서는 지연 시간과 비용을 최적화하고 싶을 수 있습니다. 이 부분에서 증류용 교사 모델로서 Nova Premier의 강점이 흥미로워집니다. HAQM Bedrock Model Distillation을 사용하여 이 특정 투자 연구 사용 사례에 맞게 Nova Premier의 결과에서 Nova Micro를 사용자 지정할 수 있습니다.
사람의 피드백과 레이블이 지정된 예시가 필요한 기존의 미세 조정과 달리, 모델 증류법을 사용하면 교사 모델이 원하는 결과물을 생성하도록 하여 데이터 수집 프로세스를 간소화함으로써 고품질의 학습 데이터를 생성할 수 있습니다.
모델을 증류하는 과정에는 다음이 포함됩니다.
- 여러 금융 상품에서 실행되는 Nova Premier의 입력 및 출력을 캡처하여 합성 트레이닝 데이터 생성
- 이 데이터를 참조하여 맞춤형 미세 조정 도구를 통해 맞춤형 버전의 Nova Micro를 훈련합니다.
- 맞춤형 마이크로 모델의 지연 시간 및 성능 차이 평가
- 프로덕션에서 관리자 에이전트로 사용자 지정 마이크로 모델 배포
HAQM Bedrock을 사용하면 프로세스를 더욱 간소화하고 데이터 준비에 간접 호출 로그를 사용할 수 있습니다. 이렇게 하려면 모델 간접 호출 로그온을 설정하고 HAQM Simple Storage Service(HAQM S3) 버킷을 로그의 대상으로 설정해야 합니다.
고객의 평가
일부 고객은 Nova Premier를 미리 사용해 보았습니다. 다음은 그분들이 저희와 공유해 주신 내용입니다.
대화, 앱, 고객을 한곳에 모으는 회사 Slack의 Senior Staff Engineer인 Curtis Allen은 “HAQM Nova Premier는 대화형 분석 워크플로를 실행하는 능력이 뛰어나면서도 테스트에서 다른 주요 모델에 비해 속도가 빠르고 비용은 거의 절반에 불과했습니다.”라고 말합니다.
모두를 위한 금융 민주화를 사명으로 삼고 있는 Robinhood Markets의 Head of AI and Data인 Dev Tagare는 “HAQM Nova를 기반으로 구축된 새로운 솔루션을 구현함으로써 모두를 위한 금융 민주화라는 우리의 사명을 달성하는 데 큰 도움이 되었습니다.”라고 말합니다. “우리는 특히 뛰어난 성능뿐만 아니라 비용 효율적이고 빠른 복잡한 다중 에이전트 협업과 같은 새로운 길을 모색할 수 있다는 점에서 기대가 큽니다. Nova Premier의 인텔리전스와 Nova Micro, Nova Lite, Nova Pro와 같은 다른 모델로 이전할 수 있는 기능을 통해 일반 고객이 이용할 수 있는 성능, 가격, 속도로 다중 에이전트 협업을 실현할 수 있게 되었습니다.”
데이터 과학자와 개발자가 데이터를 정확하고 적응력 있는 AI 애플리케이션으로 신속하게 전환할 수 있도록 지원하는 기술 회사인 Snorkel AI의 공동 설립자 Henry Ehrenberg는 “프로토타입뿐 아니라 실제 AI 배포를 가속화하려면 실제 애플리케이션의 고유한 요구 사항에 특화된 모델을 구축할 수 있는 능력이 필요합니다.”라고 말합니다. “HAQM Bedrock Model Distillation과 HAQM Nova Premier를 통해 AWS가 효율적인 모델 맞춤화를 추진하게 되어 기대가 큽니다. 이러한 새로운 모델 기능은 기업 고객이 멀티모달 데이터 등이 포함된 Q&A 애플리케이션 등 프로덕션 AI 애플리케이션을 구축하는 데 있어 속도를 높일 수 있는 잠재력을 가지고 있습니다.”
알아야 할 사항
Nova Premier는 현재 리전 간 추론을 통해 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건) AWS 리전의 HAQM Bedrock에서 사용할 수 있습니다. HAQM Bedrock을 사용하면 사용한 만큼만 비용을 지불하면 됩니다. 자세한 내용은 HAQM Bedrock 요금 페이지를 참조하세요.
미국 내 고객은 HAQM Nova 모델 웹사이트(http://nova.haqm.com)에서도 HAQM FM을 쉽게 탐색할 수 있습니다.
Nova Premier는 Nova Pro, Micro 및 Lite의 사용자 지정 변형을 증류하는 데 가장 적합한 솔루션으로, 프로덕션 배포를 위해 더 작고 빠른 모델로 Premier가 제공하는 기능을 캡처할 수 있습니다.
Nova Premier에는 다양한 애플리케이션에서 적절한 출력을 유지하는 데 도움이 되는 콘텐츠 조정 기능과 함께 책임 있는 AI 사용을 촉진하는 안전 제어 기능이 내장되어 있습니다.
Nova Premier를 시작하려면 지금 바로 HAQM Bedrock 콘솔을 방문하세요. 자세한 내용은 HAQM Nova 사용 설명서를 참조하고 AWS re:Post for HAQM Bedrock에 피드백을 보내주세요. community.aws 사이트의 생성형 AI 섹션에서 빌더 커뮤니티가 솔루션에 HAQM Bedrock을 어떻게 사용하고 있는지 살펴보세요.
– Danilo
뉴스 블로그를 어떻게 생각하시나요? 이 1분짜리 설문조사에 참여해 주세요!
(이 설문조사는 외부 기업에서 호스트합니다. AWS는 AWS 개인정보 처리방침에 설명한 대로 사용자 정보를 처리합니다. AWS는 이 설문 조사를 통해 수집된 데이터를 소유하며 수집된 정보를 설문 응답자와 공유하지 않습니다)