Category: AWS Big Data

HAQM Redshift的表设计与OLTP的表设计有很大区别，HAQM Redshift需要面对海量数据集和极其复杂的分析查询，如果设计不当，大规模并行处理就会受到数据分配不均和数据移动的影响，从而大大影响性能，本文希望能为读者理清HAQM Redshift表设计的一些基本原则，分享一些最佳实践，让读者能最大限度地发挥HAQM Redshift的潜力。

在本博文中，我们重点介绍了 AWS 客户用于实现临床试验现代化的常见架构模式。这包括引入移动技术以提高生成证据的能力、降低成本、提升质量、提高普及率以及为患者提供更加个性化的医疗等。

几周前，我们为 HAQM Kinesis Data Streams (KDS) 推出了两项重要的性能加强功能：增强扇出功能和 HTTP/2 数据检索 API。增强的扇出功能允许开发人员通过为每个数据流消费者提供其自己的读取吞吐量来扩增数据流消费者的数量（应用程序实时从数据流中读取数据）。与此同时，在常见情况下，HTTP/2 数据检索 API 允许在 70 毫秒或更短的时间内（提升了 65%）将数据从生产者传送给消费者。这些新功能可让开发人员依托 Kinesis Data Streams，构建速度更快、反应更灵敏、高度并行化且对延迟敏感的应用程序。

本文主要介绍 HAQM Redshift 数据仓库服务在用于常规 ETL 操作时，可以通过并行导入数据文件、配置 WLM 队列、执行清理命令或者借助 HAQM Spectrum 的功能等8个最佳实践方法来优化整个 ETL 的处理流程，实现对 AWS 资源的最大化利用。文末还通过一个典型的 ETL 过程向读者展示了这些技巧的实战用法。