亚马逊AWS官方博客

Category: Artificial Intelligence

使用 HAQM Bedrock Claude3 多模态能力和 Grafana 构建智能巡检平台

我们探讨了如何利用 HAQM Bedrock、Claude 3 大型语言模型和云原始监控工具 Grafana 来构建一个应用智能巡检系统。我们构建了一个端到端的巡检流程,包括创建 CloudWatch 数据元,监控指标创建、仪表盘关键信息提取、巡检等步骤。通过结合 Claude 3 的强大多模态能力和自然语言处理能力,我们能够高效地对多个监控指标进行巡检、分析。让大语言模型自动提取关键信息、分析当前系统状态,并生成总结性报告。

HAQM Bedrock 监控与日志记录实践

本文介绍了如何使用 HAQM Bedrock 服务对 Claude 3 模型进行监控和日志记录。通过 CloudWatch 监控指标和自定义日志,用户可以追踪模型调用的性能和行为。文章详细说明了设置过程,包括启用日志记录、配置 S3 存储和从客户端获取调用信息,以确保企业级AI应用的可靠性和透明度。

LLM Inference on HAQM EKS

LLM on AWS EKS 方案主要关注客户在自有账号部署大语言模型的需求,基于云原生 K8S 的解决方案,兼具了大语言模型推理的功能完备性、服务的扩展性和应用层面的可观测性等,帮助客户快速打造大语言模型在 AWS 平台上的推理能力。

Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

在 Claude 3 发布之后,其强大的多模态推理、视觉能力、翻译、总结、写作、编码等能力,再次激发生成式 AI 的热潮。HAQM Bedrock 也是首个 Claude 3 全托管且正式可用的服务。如何通过 API Key 调用 Bedrock Claude,如何多模型接入,多租户计费等需求,一直是很多人关注的问题。为此我们开发了 Bedrock Connector 并开源,供大家测试使用和代码参考。

面向 GPU 服务器的 SageMaker 无痛使用指南(三)—SageMaker HyperPod 集群

SageMaker HyperPod 集群是一种基于 Slurm 的高性能弹性计算集群,可以实现跨机器跨 GPU 的大规模并行训练。 它提供了原生的 IaaS 基础设施服务器,可以自由操控和部署各种模型和框架,充分发挥亚马逊云端可伸缩的计算能力,显著缩短了大模型在海量数据集上的训练时间。 本文详细介绍了 SageMaker Hyperpod 集群的启动、配置、连接、管理和在其上进行分布式训练的方法。