Tag: Redshift

本博文以Redshift作为数仓，并使用 AWS Database Migration Service (AWS DMS) 及其更改数据捕获 (CDC) 功能将Aurora 数据库的数据同步到Redshift的方案来阐述系统实施过程中遇到痛点及解决办法,主要以围绕DMS数据同步，Redshift Serverless及权限控制来进行详细阐述。

无疑使用单点登录 (SSO)访问组织中的多种应用程序能够提升用户体验 。 如果您负责为 HAQM Redshift 启用 SSO，则可以使用 ADFS、PingIdentity、Okta、Azure AD 或其他基于 SAML 浏览器的身份提供程序设置 SSO 身份验证

HAQM Redshift 查询编辑器 v2 是一款基于 Web 的 SQL 客户端应用程序，您可以使用它在 HAQM Redshift 数据仓库上创作和运行查询。您可以使用图表直观显示查询结果，并通过与团队成员共享查询来进行协作。

自从2018年起，亚马逊云科技发布了一系列的产品和服务，例如HAQM SageMaker，HAQM Aurora ML，HAQM Redshift ML，和2021年reInvent发布的HAQM SageMaker Canvas，使得不同角色的工程师越来越容易构建机器学习应用，降低应用机器学习的门槛，以实现普惠机器学习。本系列文章将以上述产品为核心，从不同的角度帮助企业中不同部门的人员构建机器学习应用。

在本篇文章中，我们将介绍如何无需写代码即可构建机器学习应用，HAQM SageMaker Canvas提供无代码、可视化的工作环境，即使没有机器学习背景知识，也可以基于自己业务需要构建机器学习模型。

在本篇文章中，我们将会为您展示一个简单的 2 分类预测的机器学习场景，通过加载存放于数据仓库HAQM Redshift 中的银行客户画像和业务行为特征，来完成建模前特征的快速准备和预测是否办理存款业务模型的快速验证。

这是系列文章的第二篇，在第一篇文章“另辟蹊径: 在云端使用SQL语言实现数据转化，测试和文档维护” 中介绍了做数据准备的ELT模式，以及如何利用DBT来帮助Data Analysts通过SQL做数据转化，测试和文档维护。 在这篇文章中，将以上一篇为基础，使用HAQM Web Services CDK构建一个Data OPS方案。

本篇文章将为读者介绍一新的开源工具: DBT(Data Build Tool), 并详细演示，如何使用DBT，基于HAQM Redshift 使用SQL语言来做数据转换，测试用例编写 和文档维护。

所谓流水不腐户枢不蠹，任何一款数据库即使有完善的初始设计，随着数据量的增长变化，依然需要DBA的精心维护调优，才能保证数据库以最佳状态为客户提供服务。HAQM Redshift也是如此，本文将着重向读者介绍如何定位性能问题以及性能调优的最佳实践。

HAQM Redshift的表设计与OLTP的表设计有很大区别，HAQM Redshift需要面对海量数据集和极其复杂的分析查询，如果设计不当，大规模并行处理就会受到数据分配不均和数据移动的影响，从而大大影响性能，本文希望能为读者理清HAQM Redshift表设计的一些基本原则，分享一些最佳实践，让读者能最大限度地发挥HAQM Redshift的潜力。