亚马逊AWS官方博客
Category: Artificial Intelligence
结合 HSDP 及模型并行加速 Llama3 训练
本文分析模型并行库 SMPv2,其结合了PyTorch HSDP 和 Nvidia Transformer Engine,实现了基于张量并行的大型模型训练。SMPv2 在 SageMaker 体系上简化了繁琐的训练初始化配置,并支持与 PyTorch FSDP 的无缝集成,极大降低了开发复杂性。通过配置层次化分片、张量并行度等参数,SMPv2 可以在 HAQM P5 等高性能实例上实现高效的集群扩展性能,同时有效降低显存消耗,支持高效的大型基础模型训练。
借助开源大模型微调打造行业定制化专业翻译
在全球化的商业环境中,高质量的专业翻译对于企业出海和行业交流至关重要。然而,专业领域的翻译往往面临着术语精确性、行业特定风格表达和文化适应性等多重挑战。 本文将探讨如何利用开源大语言模型的微调技术来解决这些挑战。通过针对性的微调训练,我们可以显著提升模型在特定行业翻译任务中的表现。
完全基于 AWS 的视频内容搜索引擎 VideoSearch
随着企业数字化转型的加速,越来越多的企业上线了新的财务、供应链和销售管理系统。为了确保全球员工能够熟练掌握并高效使用这些新系统,企业通常会组织全面的线上培训。然而,随着培训规模的扩大和员工数量的增加,企业面临着诸多挑战。特别是在全球范围内,培训经理无法做到 24 小时不间断地为员工提供支持,导致问题解决的速度慢,影响了员工的学习效率。在这种背景下,企业迫切需要一种能够高效支持全球员工系统使用问题的解决方案,帮助他们快速定位并解决问题,同时评估培训效果,确保培训的有效性。
基于 HAQM SageMaker 和 LLaMA-Factory 打造一站式无代码模型微调部署平台 Model Hub
在当今人工智能技术迅猛发展的背景下,大型语言模型(Large Language Models, LLMs)已成为推动各类应用创新的重要驱动力。随着模型的复杂性和应用场景的多样化,如何高效地进行模型微调和部署,成为了开发者和研究人员面临的关键挑战。为此,结合 HAQM SageMaker 与 LLaMA-Factory 构建的一站式无代码模型微调部署平台应运而生。
在 screenshot-to-code 项目中应用 HAQM Bedrock:截图生成代码
将设计原型转化为可用前端代码的是软件开发中常见的需求,这种需求在电商、企业内部系统、游戏开发等多个领域都有广泛应用。例如,电商平台可以通过截图快速生成促销页面,游戏开发团队进行活动页和宣发页的开发,而企业IT部门则可以基于现有系统截图快速开发原型。开源项目 screenshot-to-code 为这一需求提供了创新解决方案,通过分析截图自动生成相应的前端代码。
基于 AWS CDK 部署 Dify 社区版的高可用方案
一、背景介绍 从趋势来看,AI Agent 工作流程正引领着人工智能的下一次革命,其潜力远超仅依赖基础模型的传 […]
使用 WebRTC 构建实时 AI 助手
本文将会介绍使用 WebRTC 构建实时 AI 助手的整体架构方案,并且以 LiveKit WebRTC 为例,介绍如何构建基于 WebRTC 的 AI 实时翻译助手(Agent)。
有家更有 AI – 基于 HAQM Bedrock、Agents、Rekognition 构建智能家居安防方案
基于这一背景,本案例中使用 Anthropic Claude 3.5 Sonnet 大模型的多模态能力,结合亚马逊云科技的托管图像识别服务 Rekognition,搭建了家居环境安全监控的解决方案,探索 AI 技术在智能家居领域的应用前景。该方案融合了计算机视觉、模式识别、图像处理等多种人工智能技术,具备火灾监测、人脸识别、图像与视频分析等核心功能。一旦发现异常火情,系统能够立即启动报警机制,通过电话、短信、邮件等方式给用户发送通知;同时,此方案也支持对人员的面部图像进行验证,有效防止外来者的非法闯入。
ComfyUI 集成 Stable Diffusion 3 在亚马逊云科技的典型使用场景介绍
本文将 SD3 在 AWS 的主要使用方式做了总结,并针对性的提出其适用场景。
大语言模型工程化:挑战与解决方案
本文通过一个企业翻译应用案例,全面阐述了大语言模型应用从构思到上线的完整过程。文章讨论了业务场景发现与目标设定的重要性,分析了翻译应用面临的主要挑战,如专有名词翻译、长文本处理、翻译风格、准确度提升等。针对这些挑战,文章提出了使用定制模型、自省机制、专有词表、长文本拆解等解决方案。此外,还探讨了安全合规、部署策略、模型评估、用户反馈等重要考虑因素。最后,文章勾勒出一个通用的大语言模型应用架构,为企业构建和部署大语言模型应用提供了全面的参考框架。