Category: AWS Big Data

欺诈者不断寻找新的技术和设计新的伎俩。这改变了欺诈方式使检测变得困难。企业通常使用基于规则的欺诈检测系统来应对。然而，一旦欺诈者意识到他们当前的伎俩或工具被识别出，他们很快就会找到破解方法。此外，在面临大量数据时，基于规则的检测系统往往会因为大量的数据显得吃力并且速度会下降。这使得难以检测欺诈行为并迅速采取行动，从而导致收入损失。

流处理有助于实时数据的收集、处理和分析，并能够持续生成见解和快速响应新出现的情况。当派生见解的值随时间减少时，此功能非常有用。因此，您对检测到的情况反应越快，反应就越有价值。例如，考虑一个可以在欺诈性信用卡交易发生时对其进行分析和阻止的流应用程序。将该应用程序与传统的面向批处理的方法相比较，该方法在每个工作日结束时识别欺诈性交易，并生成一份供您在次日早上读取的全面报告。

数据仓库是从您的数据中分析和提取可指导行动见解的关键组件。HAQM Redshift 是一种快速的可扩展数据仓库，可经济高效地分析您数据仓库和数据湖中的所有数据。
HAQM Redshift 控制台最近推出了查询编辑器。查询编辑器是浏览器内的界面，用于直接从 AWS 管理控制台中在 HAQM Redshift 集群上运行 SQL 查询。使用查询编辑器是在 HAQM Redshift 集群托管的数据仓库上运行查询的最高效方法。

在本博文中，我们演示了如何使用 Athena 来处理来自 Elastic Load Balancer 的日志（预先定义好的文本格式）。我们将演示如何创建表，按照 Athena 使用的格式将数据分区，然后转换为 Parquet 并比较查询性能。

在本文中，我们探索了流行的开源日志聚合解决方案的AWS对应解决方案，即 ELK 堆栈（Elasticsearch、Logstash 和 Kibana）：EKK 堆栈（HAQM Elasticsearch Service、HAQM Kinesis 和 Kibana）。借助 EKK 解决方案，不再需要进行重复的繁重工作，对日志聚合解决方案进行部署、管理和扩展等。使用 EKK 堆栈，您可以专注于分析日志和调试应用程序，而不是管理和扩展聚合日志的系统平台本身。

2019 年 2月，HAQM Web Services (AWS) 宣布了 HAQM Kinesis Data Firehose 的一项称为“HAQM S3 对象自定义前缀”新功能。它允许客户为传输数据记录的 HAQM S3 对象的前缀指定自定义表达式。 之前，Kinesis Data Firehose 仅允许指定部分文字前缀。新支持的前缀可以与静态日期格式的前缀结合使用，以创建固定格式的输出文件夹。

HAQM Kinesis 让您在云中轻松实现流数据处理。HAQM Kinesis 平台由三种不同的服务组成：Kinesis Streams 允许开发人员构建自己的流处理应用程序；Kinesis Firehose 简化了将流数据加载到 AWS 以进行存储和分析的过程；Kinesis Analytics 支持分析人员使用标准 SQL 查询分析流数据。

3M HIS 正在进行一项计划，以将安装在本地或其他云托管提供商处的应用程序迁移到 HAQM Web Services (AWS) 中。3M HIS 已开始迁移到 AWS 中，以利用计算、存储和网络弹性。我们希望建立在一个坚实的基础上，从而帮助我们把更多的精力放在为客户创造价值上，同时也能进行扩展，以支持我们在未来几年预期的业务增长

目前在中国境内区域（北京区域和宁夏区域），HAQM DynamoDB 暂不支持全局表。因此无法通过较便捷的方法实现 DynamoDB 表的跨区复制。另一方面，在许多应用场景以及客户具体实践中，对数据跨区复制的需求是旺盛和迫切的。最直观的一个好处是，跨区复制可以有效提高数据的高可用性，使得当某一区域隔离或者降级时，可以及时快速切换至备份区域，确保系统平稳运行，把干扰降至最低。因此至少在全局表功能推出以前，本文探索的复制技术可以在某种程度上弥补缺失。

在本文中，我们将分享由于HDFS和S3的不同特点带来的挑战，基于对象存储的分析型工作负载的期望，以及Alluxio与EMR如何解决这些挑战，实现这些期望。