Category: AWS Big Data

Apache Hadoop和Spark给大数据计算带来了重大革新，而AWS EMR为按需运行集群以处理计算工作负载提供了很好的选择，它管理各种Hadoop服务的部署，并提供挂钩对这些服务进行自定义开发。Alluxio是一个开源的基于内存的分布式存储系统，现在成为开源社区中成长最快的大数据开源项目之一。Alluxio可以运行在EMR上，在EMRFS之上当前提供功能特性。 除了缓存带来的性能优势之外，Alluxio还使用户能够针对on-premise存储或甚至不同的云提供商存储运行计算工作负载。在本文中，我们将通过AWS CLI快速通过Alluxio引导EMR，并运行PySpark进行文档内容筛选。

尝试新事物往往是一项艰巨的任务。要从哪里着手？ 有哪些资源有助于引导您进入自己不熟悉的领域？ 如需额外的帮助时，您可以向谁求助？
无论您是刚刚注册了第一个 AWS 账户，还是已使用我们的服务有段时间了，为了满足客户不断变化的需求，我们的服务也在不断发展，因此总会有一些新的内容需要学习。为了帮助您在使用 AWS 构建内容时准备充分以取得成功，我们在 AWS 站点上汇总了以下有关大数据培训的快速参考指南和资源。

HAQM Payments 数据工程团队负责进行数据提取、转换和存储超过750TB的不断增长的数据集，该团队为全球超过 300 多个企业客户提供这些服务。这些客户包括产品经理、市场营销经理、项目经理、数据科学家、业务分析师和软件开发工程师。他们利用这些数据进行有计划的和即席查询，从而帮助他们做出正确的商业决策。这些数据还用于构建每周、每月和每季度的业务评估指标，供领导团队进行审核。

HAQM 构建并运营了数千种微服务，为数百万客户提供服务。这些服务包括目录浏览、下单、交易处理、交付计划、视频服务和 Prime 注册。每项服务均向 HAQM 分析基础设施发布数据集，包括超过 50 PB 的数据和 75,000 个数据表，每天处理 600,000 次用户分析作业。发布数据的团队超过 1,800 个，并有超过 3,300 个数据使用者团队分析这些数据，以生成见解、发现机会、制作报告和评估业务绩效。

HAQM QuickSight 是一款完全托管的云商务智能系统，可为您提供快速且易用的大数据商业分析。QuickSight 使业务分析可用于所有形态和规模的机构，能够访问各种数据，它们可以被储存在 HAQM Redshift 数据仓库、HAQM Relational Database Service (RDS) 关系数据库、S3 中的数据文件、以及（通过连接器访问）在本地 MySQL、PostgreSQL 和 SQL Server 数据库中。QuickSight可根据不同机构的需求扩展，使其适应数十、数百或数千个用户的使用场景。
如今，针对QuickSight，我们推出了新的基于会话的定价选项、新的支持地区、以及更多重要的功能。下面我们分别来看各个更新：

现代数据湖依靠提取、转换和加载 (ETL) 操作将大量信息转换为可用数据。本文将指导您实施 ETL 编排流程，该流程使用 AWS Step Functions、AWS Lambda 和 AWS Batch 实现松散耦合，以便创建 HAQM Redshift 集群。

在 HAQM S3 上构建数据湖可让组织受益无穷。它允许您访问各种数据源，确定独特的关系，构建 AI/ML 模型来提供定制的客户体验，并加速新数据集的管理以供消费。但是，无论是在本地还是在 AWS 上，从运营数据存储中捕获不断变化的更新并将其加载到数据湖，都可能会非常耗时且难以管理。
下文演示了如何部署一个解决方案，将来自热门数据库源（如 Oracle、SQL Server、PostgreSQL 和 MySQL）的持续更改加载到您的数据湖中。该解决方案会将新数据和发生更改的数据流式传输到 HAQM S3。它还会创建和更新相应的数据湖对象，根据您配置的计划提供与数据源类似的数据视图。然后，AWS Glue Data Catalog 公开新更新和经过重复数据删除的数据，以供分析服务使用。

4 月 8 日，HAQM ES 推出了事件监控和警报支持。要使用此功能，您可以使用带有触发器（即您设置的特定触发条件，指示监视器何时发送警报）的监控 Monitor（即事先安排的作业）。警报是发生触发条件的通知。触发器触发时，监控 Monitor 将执行特定操作（向目标发送消息）。
本文使用模拟的物联网 Device Farm 生成数据并将数据发送到 HAQM ES。

不愧是 AWS 的做派，我在 AWS 大数据博客上发表 How Goodreads offloads HAQM DynamoDB tables to HAQM S3 and queries them using HAQM Athena 之后不到一周，AWS Glue 团队就发布了 通过 AWS Glue 爬网程序和 AWS Glue ETL 作业原生读取 DynamoDB 表中数据的功能。我对此兴奋不已。写得代码越少意味着缺陷越少。最初的架构已经存在了至少 18 个月，只需稍加改进即可实现大幅简化。

如今，海量数据从四面八方纷涌而来，比如来自 IoT 传感器、应用程序日志和点击流等资源的非结构化数据，以及来自事务处理应用程序、关系数据库和电子表格的结构化数据。数据已成为每家企业的重要组成部分。为了快速获取数据中的价值，保持单一事实来源（single source of truth），并且自动执行从数据提取到转换和分析的整个pipeline的需求应运而生。