Возможности HAQM Redshift

Используйте SQL для озер данных, чтобы получить высочайшую производительность при масштабировании

Демонстрационные видео о Redshift
Связаться со специалистом AWS

Page Topics

Обеспечьте исключительное соотношение цены и качества, масштабируемости и безопасности Получайте ценную информацию с помощью SQL по унифицированным данным в озере Ускоряйте принятие решений с помощью аналитики практически в режиме реального времени Внедряйте простую аналитику SQL без управления инфраструктурой Добавляйте контекст в приложения и повышайте производительность пользователей с помощью генеративного ИИ

Обеспечьте исключительное соотношение цены и качества, масштабируемости и безопасности

Open all

Инстансы RA3 обеспечивают максимальную скорость при обработке ресурсоемких рабочих нагрузок с высокими требованиями к вычислительным мощностям. Вы можете указывать необходимое количество инстансов и оплачивать вычислительные ресурсы отдельно от ресурсов хранения.

Столбчатое хранилище, сжатие данных и карты зон сокращают количество операций ввода‑вывода, необходимых для выполнения запросов. Наряду с такими стандартными для отрасли алгоритмами кодирования, как LZO и Zstandard, HAQM Redshift также предлагает специализированное кодирование при сжатии AZ64 для таких типов данных, как числовые данные и данные даты и времени. Это необходимо, чтобы обеспечить как экономию объема хранилища, так и оптимизацию производительности запросов.

поддерживает практически неограниченное число одновременно работающих пользователей и одновременных запросов с неизменным качеством обслуживания. Таким образом сервис может добавлять временные ресурсы за несколько секунд по мере роста параллельной нагрузки. Масштабирование осуществляется с минимальными затратами, поскольку каждый кластер за сутки накапливает до одного часа бесплатных кредитов для параллельного масштабирования. Этого объема бесплатных кредитов достаточно для обеспечения потребностей в параллельных операциях 97 % клиентов.

Записывайте информацию в базы данных Redshift из других хранилищ данных Redshift без лишних усилия, реализуя совместную работу с данными, гибкое масштабирование вычислительных ресурсов для рабочих нагрузок ETL/обработки данных за счет добавления хранилищ различных типов и размеров в зависимости от соотношения цены и производительности. Добейтесь большей прозрачности использования вычислительных ресурсов: каждому хранилищу выставляется счет за собственные вычисления, что позволяет контролировать расходы.

Материализованные представления HAQM Redshift позволяют значительно повысить производительность запросов для итеративных или прогнозируемых аналитических рабочих нагрузок, таких как отображение информации на информационных панелях, выполнение запросов из инструментов бизнес‑аналитики (BI) и задания по извлечению, преобразованию и загрузке данных (ELT). Материализованные представления можно использовать для хранения и управления предварительно вычисленными результатами запросов SELECT, которые могут ссылаться на одну или несколько таблиц, включая озеро данных, нулевую интеграцию ETL и таблицы совместного использования данных. При инкрементальном обновлении HAQM Redshift выявляет изменения в базовой таблице или таблицах, произошедшие после последнего обновления, и обновляет только соответствующие записи в материализованном представлении. Инкрементальное обновление выполняется быстрее, чем полное, что улучшает производительность рабочих нагрузок.

Обрабатывайте повторяющиеся запросы за доли секунды. Благодаря этому значительно увеличивается производительность панелей управления, а также инструментов визуализации и бизнес‑аналитики (BI), которые выполняют повторяющиеся запросы. При получении запроса HAQM Redshift выполняет поиск по кэшу, в котором может храниться результат прошлой обработки такого запроса. Если результат был найден в кэше и данные не изменились, сервис незамедлительно выдает этот результат вместо повторного выполнения запроса.

Новый мощный механизм сортировки таблиц, который повышает производительность повторяющихся запросов за счет автоматической сортировки данных на основе фильтров входящих запросов (например, продажи в определенном регионе). По сравнению с традиционными методами этот метод значительно ускоряет сканирование таблиц.

Расширьте возможности восстановления, сокращая время восстановления и гарантируя необходимых объем ресурсов для автоматического восстановления без потери данных. Хранилище данных HAQM Redshift в нескольких зонах доступности максимизирует производительность и ценность, что обеспечивает высокую доступность без применения резервных ресурсов и повышает уровень доступности до 99,99 % SLA.

HAQM Redshift позволяет настроить правила брандмауэра для управления сетевым доступом к кластеру хранилища данных. Вы можете запустить HAQM Redshift внутри облачного сервиса HAQM Virtual Private Cloud (HAQM VPC), чтобы изолировать кластер хранилища данных в своей виртуальной сети и подключить его к имеющейся ИТ-инфраструктуре с помощью зашифрованной сети IPsec VPN отраслевого стандарта.

С помощью всего нескольких параметров вы можете настроить в сервисе HAQM Redshift использование сертификата TLS с целью обеспечения безопасности данных в движении и шифрования AES-256 с аппаратным ускорением для данных в местах хранения. Если включить шифрование данных в местах хранения, все данные, записанные на диск, будут зашифрованы вместе с их резервными копиями. По умолчанию сервис HAQM Redshift осуществляет управление ключами шифрования самостоятельно.

Интеграция с центром идентификации IAM позволяет организациям обеспечивать передачу доверенных удостоверений между HAQM Redshift, HAQM QuickSight и AWS Lake Formation. С помощью сторонних поставщиков идентификации (IdP), таких как Microsoft Entra ID, Okta, Ping или OneLogin, вы можете использовать учетные данные своей организации для доступа к HAQM Redshift в режиме единого входа. Это обеспечивает удобную аутентификацию из QuickSight, Редактора запросов HAQM Redshift, а также сторонних инструментов бизнес-аналитики и SQL-редакторов. Администраторы могут управлять доступом к данным с помощью пользователей и групп сторонних поставщиков удостоверений, обеспечивая точный контроль и аудит на уровне пользователей через AWS CloudTrail. Функция передачи доверенных удостоверений позволяет беспрепятственно передавать данные о пользователе между HAQM QuickSight, HAQM Redshift и Lake Formation. Это ускоряет получение аналитической информации и создает удобную среду для анализа данных.

Детальный контроль безопасности на уровне отдельных строк и столбцов позволяет предоставлять пользователям доступ только к необходимым им данным. HAQM Redshift интегрирован с Lake Formation, что обеспечивает контроль доступа на уровне столбцов в Lake Formation и запросы HAQM Redshift к данным в озере. Совместное использование данных HAQM Redshift поддерживает централизованный контроль доступа с Lake Formation с целью упрощения управления данными, передаваемыми из HAQM Redshift. Lake Formation – это сервис, который упрощает настройку безопасных озер данных и централизованное точное управление доступом к данным во всех потребляющих сервисах, а также применение элементов управления на уровне строк и столбцов. Используйте динамическое маскирование данных для защиты конфиденциальной информации, ограничивая видимость идентифицируемых данных для пользователей. С помощью HAQM Redshift можно задать несколько уровней разрешений для таких полей, чтобы разные пользователи и группы имели различный уровень доступа к данным, избегая необходимости создавать дубликаты. Это достигается через знакомый SQL-интерфейс.

Получайте ценную информацию с помощью SQL по унифицированным данным в озере

Open all

Анализируйте все унифицированные данные с помощью SQL благодаря интеграции HAQM Redshift с озером данных SageMaker. Запрашивайте данные HAQM Simple Storage Service (HAQM S3) в открытых форматах без необходимости перемещения данных между озерами и хранилищами. Откройте данные HAQM Redshift в озере данных SageMaker, чтобы получить доступ к аналитическим инструментам AWS и Apache Iceberg, поддерживающим комплексный анализ данных и машинное обучение.

HAQM Redshift поддерживает запросы только для чтения с использованием ANSI SQL для табличных форматов, таких как Apache Iceberg, Apache Hudi и Delta Lake, а также для открытых форматов данных, включая Apache Parquet, ORC, Avro, JSON и CSV, напрямую из HAQM S3. Apache Iceberg – это формат таблиц с открытым исходным кодом, обеспечивающий согласованность транзакций и улучшенную организацию озер данных благодаря своей табличной структуре. С помощью HAQM Redshift Spectrum можно выполнять чтение таблиц и данных в открытых форматах, таких как Parquet, из озера данных, сохраняя большие объемы структурированных, полуструктурированных и неструктурированных данных в HAQM S3. Для экспорта данных в озеро данных доступна команда HAQM Redshift UNLOAD, поддерживающая экспорт в форматы, такие как Parquet. Экспорт данных из HAQM Redshift обратно в озеро данных позволяет дополнительно проводить их анализ с помощью таких сервисов AWS, как HAQM Athena, HAQM EMR и SageMaker.

Используйте для изучения и анализа данных язык запросов SQL в веб-интерфейсе аналитики, чтобы данные в HAQM Redshift и в озере данных стали более доступными вашим специалистам по анализу и инженерам данных и другим пользователям, которые привыкли работать к SQL. Редактор запросов позволяет в один шаг визуализировать результаты запросов, создавать схемы и таблицы, визуально загружать данные и просматривать объекты базы данных. Также он предоставит вам интуитивно удобный метод для создания запросов SQL, анализов, визуализаций, аннотаций и предоставления к ним защищенного общего доступа для совместной работы с коллегами.

Используйте встроенный редактор SQL на базе HAQM Redshift в SageMaker Unified Studio, единой среде разработки данных и ИИ, для запросов к данным, хранящимся в озерах данных, хранилищах данных, базах данных и приложениях.

Ускоряйте принятие решений с помощью аналитики практически в режиме реального времени

Open all

Интеграция Aurora, HAQM Relational Database Service (HAQM RDS), HAQM DynamoDB, корпоративных приложений и HAQM Redshift без написания кода позволяет мгновенно проводить аналитику и машинное обучение, обрабатывая петабайты данных из баз данных и приложений. Например, данные, поступающие из операционных, транзакционных или корпоративных источников, могут быть беспрепятственно доступны в HAQM Redshift благодаря интеграции Aurora Zero-ETL. Это минимизирует необходимость создания и управления сложными ETL-конвейерами.

Упростите и автоматизируйте получение данных из HAQM S3, сократив время и усилия на создание собственных решений или управление сторонними сервисами. С этой функцией HAQM Redshift вам не придется вручную и много раз выполнять процедуру копирования, автоматизируя прием файлов и заботясь о непрерывных этапах загрузки данных. Поддержка автоматического копирования дает возможность бизнес-пользователям и специалистам по аналитике данных без знаний в области разработки данных создавать правила приема и настраивать расположение данных, которые они хотят загрузить из HAQM S3.

Используйте SQL для подключения и прямого приема данных из потоков данных HAQM Kinesis и управляемой потоковой передачи HAQM для Apache Kafka (HAQM MSK). Кроме того, Получение данных потоковой передачи HAQM Redshift упрощает создание нисходящих конвейеров и управление ими, позволяя создавать материализованные представления непосредственно поверх потоков. Материализованные представления также могут включать преобразования SQL как часть конвейера ELT. Вы можете вручную обновлять определенные материализованные представления, чтобы запрашивать последние потоковые данные.

Запрашивайте оперативные данные из одного или нескольких инстансов HAQM RDS, включая совместимые версии HAQM Aurora PostgreSQL, HAQM RDS для MySQL и HAQM Aurora, совместимую с MySQL, чтобы получить мгновенные представления о бизнес-операциях без необходимости перемещать данные.

Внедряйте простую аналитику SQL без управления инфраструктурой

Open all

Анализируйте данные за считаные секунды в нужных масштабах без необходимости настраивать инфраструктуру хранилища данных и управлять ею. Технология масштабирования и оптимизации на основе ИИ (доступно в ознакомительной версии) позволяет бессерверному HAQM Redshift заранее автоматически выделять и масштабировать емкость хранилища данных, обеспечивая высокую производительность даже для самых требовательных рабочих нагрузок. Система использует методы искусственного интеллекта для изучения закономерностей рабочей нагрузки клиентов по ключевым параметрам, таким как параллельные запросы, сложность запросов, приток объема данных и ETL. Впоследствии она постоянно корректирует ресурсы в течение дня и применяет индивидуальные методы оптимизации производительности. После установки пользователем целевого показателя производительности хранилище данных будет автоматически масштабироваться в соответствии с ним.

Сложные алгоритмы для прогнозирования и классификации входящих запросов на основе их времени выполнения и требований к ресурсам позволяют осуществлять динамическое управление производительностью и параллельными операциями, а также расставлять приоритеты для критически важных рабочих нагрузок. Функция ускорения коротких запросов (SQA) отправляет короткие запросы от таких приложений, как информационные панели, в экспресс‑очередь для немедленной обработки, позволяя им не простаивать в очереди из-за объемных запросов. Автоматическое управление рабочими нагрузками (WLM) использует машинное обучение для динамического управления памятью и параллельными операциями. Такой подход помогает оптимизировать пропускную способность запросов. Кроме того, теперь вы можете расставлять приоритеты для наиболее важных запросов, даже когда их число достигает нескольких сотен. HAQM Redshift Advisor дает рекомендации в тех случаях, когда дальнейшее повышение производительности HAQM Redshift требует явного участия пользователя. Автоматизированные материализованные представления повышают пропускную способность при динамических рабочих нагрузках, когда шаблоны запросов не поддаются прогнозированию, снижают задержки и ускоряют выполнение запросов за счет автоматического обновления, автоматического переписывания запросов, поэтапного обновления и непрерывного контроля кластеров HAQM Redshift. Автоматическая оптимизация таблиц выбирает ключи сортировки и распределения, чтобы оптимизировать производительность кластера под рабочей нагрузкой. Если HAQM Redshift определит, что применение ключа повысит производительность кластера, таблицы будут автоматически изменены без вмешательства администратора. Дополнительные функции, такие как автоматическое удаление Vacuum, автоматическая сортировка таблиц и автоматический анализ, устраняют необходимость ручного обслуживания и настройки кластеров HAQM Redshift и обеспечивают максимальную производительность новых кластеров и производственных рабочих нагрузок.

Используйте простой API данных для взаимодействия с HAQM Redshift. HAQM Redshift дает возможность без проблем работать с данными всех типов традиционных, облачных и контейнерных бессерверных приложений на основе веб-сервисов и управляемых событиями приложений. API данных HAQM Redshift упрощает доступ к данным, их загрузку и передачу из языков и с платформ программирования, которые поддерживаются SDK AWS, в том числе Python, Go, Java, Node.js, PHP, Ruby и C++. Благодаря API данных нет необходимости в настройке драйверов и управлении подключениями к базам данных. Вместо этого можно запускать команды SQL в кластере HAQM Redshift, вызывая защищенную конечную точку API, предоставляемую API данных. API данных обеспечивает управление подключениями к базе данных и буферизацию данных. API данных является асинхронным, поэтому необходимые результаты можно получить позже. Результаты обработки запроса хранятся 24 часа.

Выполняйте запросы в консоли или подключайте клиентские инструменты SQL, библиотеки либо инструменты обработки данных, включая QuickSight, Tableau, Microsoft Power BI, Alteryx, Querybook, Jupyter Notebook, Informatica, dbt, MicroStrategy и Looker.

Добавляйте контекст в приложения и повышайте производительность пользователей с помощью генеративного ИИ

Open all

Используйте простой английский язык для написания запросов в Редакторе запросов HAQM Redshift, чтобы получить точные SQL-рекомендации, соответствующие вашим разрешениям на доступ к данным.

HAQM Redshift легко интегрируется с HAQM Bedrock, предоставляя возможности прямого использования генеративного ИИ через стандартные SQL-команды. Эта интеграция позволяет командам использовать базовые модели, такие как Anthropic Claude и HAQM Titan, для задач, таких как анализ текста, перевод и определение настроений, без необходимости в сложной инфраструктуре. Пользователи могут легко применять модели ИИ в существующих рабочих процессах анализа данных, что преобразует методы извлечения ценной информации из корпоративных данных.

Функция HAQM Redshift ML упрощает создание, обучение и развертывание моделей SageMaker с использованием SQL для специалистов по анализу и обработке данных, бизнес-аналитиков и разработчиков. С помощью HAQM Redshift ML вы можете использовать операторы SQL для создания и обучения моделей SageMaker в HAQM Redshift на основе своих данных, а затем использовать эти модели для прогнозирования, например для обнаружение оттока клиентов, финансовых прогнозов, персонализации и оценки рисков прямо в своих запросах и отчетах. Интегрируйте крупные языковые модели в HAQM Redshift для выполнения сложных задач обработки естественного языка, включая суммирование текста, извлечение сущностей и анализ настроений. Это позволит получать более глубокие инсайты из данных с помощью SQL-запросов.