HAQM Bedrock, DeepSeek-R1 완전 관리형 서버리스 모델 정식 출시

1월 30일부터 HAQM Bedrock Marketplace와 HAQM Bedrock 사용자 지정 모델 가져오기를 통해 DeepSeek-R1 모델을 HAQM Bedrock에서 사용할 수 있게 되었습니다. 그 이후로 수천 명의 고객이 HAQM Bedrock에 이 모델을 배포했습니다. 고객들은 안전한 AI 배포를 위한 견고한 가드레일과 포괄적인 툴링을 높이 평가하고 있습니다. 이제 새로운 서버리스 솔루션을 포함해 확장된 옵션 범위를 통해 HAQM Bedrock에서 DeepSeek를 더욱 쉽게 사용할 수 있게 되었습니다.

완전 관리형 DeepSeek-R1 모델이 이제 HAQM Bedrock에서 정식 출시되었습니다. HAQM Web Services(AWS)는 완전 관리형 정식 출시 모델로 DeepSeek-R1을 제공하는 최초의 클라우드 서비스 제공업체(CSP)입니다. 인프라의 복잡성을 관리할 필요 없이 DeepSeek on AWS를 통해 혁신을 가속화하고 실질적인 비즈니스 가치를 제공할 수 있습니다. HAQM Bedrock의 완전 관리형 서비스에서 단일 API를 사용하여 DeepSeek-R1의 기능으로 생성형 AI 애플리케이션을 강화하고 광범위한 기능과 도구의 이점을 활용할 수 있습니다.

DeepSeek에 따르면, 이 모델은 MIT 라이선스에 따라 공개적으로 사용 가능하며 추론, 코딩 및 자연어 이해에서 강력한 기능을 제공합니다. 이러한 기능을 통해 지능형 의사 결정 지원, 소프트웨어 개발, 수학적 문제 해결, 과학적 분석, 데이터 인사이트 및 포괄적인 지식 관리 시스템을 지원합니다.

모든 AI 솔루션의 경우와 마찬가지로 프로덕션 환경에서 구현할 때는 데이터 프라이버시 요구 사항을 신중하게 고려하고, 출력의 편향성을 확인하며, 결과를 모니터링해야 합니다. DeepSeek-R1과 같이 공개적으로 사용 가능한 모델을 구현할 때는 다음을 고려해 보세요.

데이터 보안 – 데이터를 완벽하게 제어하면서 대규모로 책임감 있게 AI를 배포하는 데 필수적인 HAQM Bedrock의 엔터프라이즈급 보안, 모니터링 및 비용 제어 기능에 액세스할 수 있습니다. 사용자의 입력과 모델 출력은 어떤 모델 공급자와도 공유되지 않습니다. HAQM Bedrock에서 DeepSeek-R1 모델과 통신하는 동안 기본 제공되는 이러한 주요한 보안 기능을 사용할 수 있는데, 여기에는 저장된 데이터와 전송 중인 데이터 암호화, 세분화된 액세스 제어, 보안 연결 옵션, 다양한 규정 준수 인증 다운로드 등이 포함됩니다.
책임감 있는 AI – HAQM Bedrock Guardrails를 통해 애플리케이션 요구 사항과 책임감 있는 AI 정책에 맞게 사용자 지정된 보호 기능을 구현할 수 있습니다. 여기에는 콘텐츠 필터링, 민감한 정보 필터링, 컨텍스트 그라운딩 및 자동 추론 검사를 사용하여 할루시네이션을 방지하기 위한 사용자 지정 가능한 보안 제어의 주요 기능이 포함됩니다. 즉, 생성형 AI 애플리케이션에서 바람직하지 않거나 유해한 콘텐츠를 필터링하여 정의된 정책 세트를 통해 Bedrock에서 사용자와 DeepSeek-R1 모델 간의 상호 작용을 제어할 수 있습니다.
모델 평가 – HAQM Bedrock 모델 평가 도구를 사용하면 자동 또는 수동 평가를 통해 몇 단계만으로 모델을 평가하고 비교하여 DeepSeek-R1을 비롯한 사용 사례에 가장 적합한 모델을 식별할 수 있습니다. 정확성, 견고성, 유해성 등 사전 정의된 지표를 사용한 자동 평가를 선택할 수 있습니다. 또는 관련성, 스타일, 브랜드 보이스 일치와 같은 주관적 또는 사용자 지정 지표에 대한 인적 평가 워크플로를 선택할 수도 있습니다. 모델 평가에서 선별된 데이터세트를 기본적으로 제공하거나 자체 데이터세트를 가져올 수 있습니다.

생성형 AI 애플리케이션에 대한 강력한 보호 기능을 추가하려면 HAQM Bedrock Guardrails를 통합하고 HAQM Bedrock 모델 평가 기능을 DeepSeek-R1 모델과 함께 사용해 보시기를 강력히 권장합니다. 자세히 알아보려면 HAQM Bedrock Guardrails를 사용한 DeepSeek 모델 배포 보호 및 HAQM Bedrock 리소스 성능 평가를 참조하세요.

HAQM Bedrock에서 DeepSeek-R1 모델 시작하기
DeepSeek-R1 모델을 처음 사용한다면, HAQM Bedrock 콘솔로 이동하여 왼쪽 탐색 창의 Bedrock configurations 아래에서 Model access를 선택하세요. 완전 관리형 DeepSeek-R1 모델에 액세스하려면 DeepSeek에서 DeepSeek-R1에 대한 액세스 권한을 요청하세요. 그러면 HAQM Bedrock에서 해당 모델에 대한 액세스 권한이 부여됩니다.

다음으로 HAQM Bedrock에서 DeepSeek-R1 모델을 테스트하려면 왼쪽 메뉴 창의 Playgrounds에서 Chat/Text를 선택합니다. 그런 다음 왼쪽 상단에서 Select model을 선택하고 카테고리로 DeepSeek, 모델로 DeepSeek-R1을 선택합니다. 그런 다음 Apply를 선택합니다.

2. DeepSeek-R1 모델 선택

선택한 DeepSeek-R1 모델을 사용하여 다음 프롬프트 예시를 실행합니다.

한 가족이 내년 휴가를 위해 5,000 USD를 저축하려고 합니다. 이 돈을 연 2%의 이자를 받는 저축 계좌에 넣거나 연 4%의 이자를 받는 정기예금에 넣을 수 있지만 휴가 전까지는 자금을 사용할 수 없습니다. 연중에 긴급 경비로 1,000 USD가 필요한 경우 휴가 자금을 최대한 늘리려면 두 가지 옵션으로 어떻게 돈을 나누어야 할까요?

이 프롬프트는 복잡한 사고의 흐름을 필요로 하며 매우 정확한 추론 결과를 생성합니다.

프롬프트에 대한 사용 권장 사항을 자세히 알아보려면 DeepSeek-R1 프롬프트 가이드를 참조하세요.

View API request를 선택하면 AWS Command Line Interface(AWS CLI) 및 AWS SDK의 코드 예시를 사용하는 모델에 액세스할 수도 있습니다. 모델 ID로 us.deepseek.r1-v1:0을 사용할 수 있습니다.

다음은 AWS CLI 명령의 샘플입니다.

aws bedrock-runtime invoke-model \
     --model-id us.deepseek.r1-v1:0 \
     --body "{\"prompt\": \"<｜begin_of_sentence｜><｜User｜>Type_Your_Prompt_Here<｜Assistant｜><think>\n\", \"max_tokens\": 512, \"temperature\": 0.5, \"top_p\": 0.9}" \
     --cli-binary-format raw-in-base64-out \
     --region us-west-2 \
     invoke-model-output.txt

이 모델은 InvokeModel과 Converse API를 모두 지원합니다. 다음 Python 코드 예시는 텍스트 생성을 위해 HAQM Bedrock Converse API를 사용하여 DeepSeek-R1 모델에 문자 메시지를 보내는 방법을 보여줍니다. 더 자세한 것은 DeepSeek model inference parameters and responses을 참고하세요.

import boto3
from botocore.exceptions import ClientError

# 사용하려는 AWS 리전에서 Bedrock 런타임 클라이언트를 생성합니다.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# 모델 ID를 설정합니다(예: DeepSeek-R1 Model).
model_id = "us.deepseek.r1-v1:0"

# 사용자 메시지로 대화를 시작합니다.
user_message = "'Hello World' 프로그램의 목적을 한 줄로 설명해 주세요."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # 기본 추론 구성을 사용하여 모델에 메시지를 보냅니다.
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 2000, "temperature": 0.6, "topP": 0.9},
    )

    # 응답 텍스트를 추출하고 출력합니다.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

DeepSeek-R1 모델에서 HAQM Bedrock Guardrails를 활성화하려면 왼쪽 탐색 창의 Safeguards에서 Guardrails를 선택하고 필요한 만큼 필터를 구성하여 가드레일을 생성합니다. 예를 들어 “politics” 단어를 필터링하면 가드레일이 프롬프트에서 이 단어를 인식하고 차단된 메시지를 표시합니다.

4. DeepSeek-R1 모델에 Bedrock Guardrails 적용

다양한 자료로 가드레일을 테스트하여 가드레일의 성능을 평가할 수 있습니다. 거부된 주제, 단어 필터, 민감한 정보 필터, 차단된 메시지를 설정하여 필요에 맞을 때까지 가드레일을 세분화할 수 있습니다.

HAQM Bedrock Guardrails를 자세히 알아보려면 AWS 설명서에서 HAQM Bedrock Guardrails를 사용한 모델의 유해 콘텐츠 차단 또는 AWS Machine Learning 블로그 채널의 HAQM Bedrock Guardrails에 대한 기타 심층 분석 블로그 게시물을 참조하세요.

다음은 HAQM Bedrock에서 완전 관리형 DeepSeek-R1 모델을 활용하는 방법을 소개하는 데모 안내 영상입니다.

정식 출시
이제 교차 리전 추론을 통해 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건) AWS 리전의 HAQM Bedrock에서 완전 관리형 DeepSeek-R1을 사용할 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요. 자세한 내용은 HAQM Bedrock의 DeepSeek 제품 페이지와 HAQM Bedrock 요금 페이지를 확인하세요.

지금 바로 HAQM Bedrock 콘솔에서 DeepSeek-R1 모델을 사용해 보시고 AWS re:Post for HAQM Bedrock 또는 평소 이용하는 AWS Support 연락처를 통해 피드백을 보내주세요.

— Channy

HAQM Web Services 한국 블로그

HAQM Bedrock, DeepSeek-R1 완전 관리형 서버리스 모델 정식 출시

주요 링크 모음

팔로우하기