亚马逊AWS官方博客
深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度
pache DolphinScheduler 是一个分布式、可扩展的开源工作流编排平台,拥有强大的 DAG 可视化界面。目前 DolphinScheduler 已经原生集成了亚马逊云科技的大部分数据服务,如 EMR、Redshift、DMS、DataSync、Athena、S3。本文将详细介绍 DolphinScheduler 的云原生容器化部署 HAQM EKS。详细解释如何结合亚马逊云科技的任务插件、数据源插件、存储插件的集成。帮助更高效地使用 DolphinScheduler 进行云服务调用。
HAQM FSx for Lustre Intelligent-Tiering 正式发布,提供成本最低且唯一完全弹性的 Lustre 文件存储
地震成像是一种地球物理技术,用于绘制地球地下结构的详细图片。该技术通过生成地震波实现,这些地震波传入地下,从不 […]
AWS 现已为 HAQM ECS、HAQM EKS 和 AWS Serverless 推出专用的 MCP Servers!
现在,AWS 为 HAQM Elastic Container Service(HAQM ECS)、A […]
基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践
本文系统的从版本选择、节点选择、自动扩缩机制、集群配置等各个角度介绍和总结了常用的 EMR 最佳实践,从性能、可靠性、成本多方面阐述了 EMR 的优化方案和原理,最后通过项目实践展示了应用最佳实践后的效果,进一步验证了基于 EMR 和开源组件构建的数据分析平台在性能、成本和可靠性上的优势。
基于开源工具构建 EMR 数据分析平台(四)使用 Kyuubi 进行 Spark SQL 任务提交
通过将 Kyuubi 与 DolphinScheduler 集成,可以轻松实现 Spark Sql 任务的调度和管理,进一步提升了大数据工作流的效率和可视化管理能力。Kyuubi 在数据分析和处理场景中提供了强大的支持,为企业级大数据处理提供了一个灵活且高效的解决方案。
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度
本文介绍了如何在基于开源工具构建的 EMR 数据分析平台中,通过引入 Apache DolphinScheduler,实现对 EMR 任务的统一管理和调度。DolphinScheduler 不仅提供了可视化的任务编排界面,还支持多种任务提交方式,能够满足不同场景下的 EMR 任务调度需求。
基于 Vanna.AI 和 HAQM Bedrock 构建 Text-to-SQL 方案
结合 Vanna 框架与 HAQM Bedrock 所提供的大模型能力,构建面向 HAQM RDS/Aurora MySQL 和 HAQM Redshift 的高效查询分析解决方案。该方案融合了大模型强大的自然语言理解能力与 AWS 数据库服务的高性能特性,为用户开辟了一条低门槛、高效能的 Text-to-SQL 实现路径。
在 AWS EC2 上快速部署 NebulaGraph:图数据分析实战
随着数据关联性的日益增强,传统关系型数据库在处理复杂关系和大规模连接查询时表现出瓶颈。图数据库以其强大的关系表达能力和高效的遍历性能,成为社交网络、推荐系统、知识图谱等领域的首选技术。NebulaGraph 作为一款开源分布式图数据库,具备高性能、可扩展的特点,适合处理海量图数据。 本文将带你一步步在 AWS EC2 上快速部署 NebulaGraph,并通过一个示例场景完成图数据的生成与分析,帮助你快速上手 NebulaGraph 图数据库的实战应用。
使用 HAQM EventBridge 和 AWS Lambda 在 AWS Secrets Manager 自动创建和备份密钥历史版本
这个方案能够为客户的每一次 AWS Secrets Manager 密钥更改自动生成 staging label 并保留最新的 20 个历史版本,不需要人为干预和手动操作。方案支持将密钥以及历史版本保存在当前区域,也可以跨区域跨账号保存和备份。
HAQM Aurora DSQL 现已正式发布
现在,我们宣布 HAQM Aurora DSQL 正式发布,这是速度最快的无服务器分布式 SQL 数据库, […]