亚马逊AWS官方博客
Category: HAQM Simple Storage Service (S3)
利用Apache Iceberg在亚马逊云上构建准实时数仓
大数据处理技术现今已广泛应用于各个行业,为业务解决海量存储和海量分析的需求,在构建数据湖的过程中遇到的 1.T+0 的数据落地和处理问题 2.数据修正的成本问题,aws 的emr s3+iceberg能够很好解决。
老司机们坐稳了 – 将HAQM EC2到HAQM S3的数据传输推向100Gbps线速
本文介绍如何在HAQM EC2与HAQM S3之间实现高速数据传输。
通过 HAQM Connect 与医生轻松沟通并简化患者的计费
借助 HAQM Connect,公司可以轻松实现与其联络中心的自定义集成,并能够构建针对其使用场景量身定制的远程医疗解决方案。
跨 AWS 账号复制加密的 S3 对象
本文主要介绍了如何在跨账号的环境下,进行S3加密对象的复制。
基于HAQM SageMaker构建细粒度情感分析应用
通过AI把用户留言进行了更细粒度的分析,使得客户可以更精准地对(几千倍几万倍的机器标签)用户进行分类,从而在广告投放、行为诱导、客户服务和产品升级方面有更优化的方法。
在 HAQM Athena 中使用 EXPLAIN 和 EXPLAIN ANALYZE 优化联合查询性能
HAQM Athena 是一种交互式查询服务,可使用标准 SQL 轻松分析 HAQM Simple Storage Service(HAQM S3)中的数据。Athena 是一种无服务器服务,因此您无需管理任何基础设施,而且只需为所运行的查询付费。2019 年,Athena 增加了对联合查询的支持,以便跨存储在关系、非关系、对象和自定义数据来源中的数据运行 SQL 查询。
利用DynamoDB和S3结合gzip压缩,最大化存储玩家数据
本文主要讲述在游戏场景下,根据DynamoDB的限制),在限制下尽可能存储更多的数据和当存储量超出限制时,扩展存储的最大化利用空间。重点描述如何利用DynamoDB+S3保存玩家存档中的大数据量属性,避免数据存在S3上后,在数据写入S3的时发生脏读的情况。同时利用gzip压缩减少数据大小,减少IO的开销提升性能。
基于Graviton2处理器构建容器化基因分析工作负载
本文以土壤微生物宏基因测序为例,演示了如何利用AWS Batch服务调用基于Graviton2处理器的实例用于基因分析,并验证了Graviton2高性价比的特性。
分布式 Lambda 从海外到中国自动同步S3文件
现在,越来越多的中国公司,在AWS海外区域部署业务。利用 S3 作为数据湖,存储海量的数据,包括图片、视频、日志、备份等等。很多场景下,需要把海外的 S3 数据复制到中国,在中国进行进一步分析处理。AWS S3 在海外提供跨区域自动复制功能 (Cross region replication, CRR) 。但是,由于中国和海外区域隔离,不能使用CRR功能。
新增功能 – 通过智能分层自动优化 HAQM S3 成本
您可以在将数据上传到 S3 时选择适用的存储类,也可以使用 S3 的生命周期策略告诉 S3 根据对象的创建日期将对象从“标准”转换为“标准 – IA”、“单区 – IA”或“Glacier”。请注意,低冗余存储类仍受支持,但我们建议在新应用程序中使用“单区 – IA”。