Интеграция HAQM Aurora с нулевым использованием ETL в HAQM Redshift

Обеспечьте анализ петабайтов транзакционных данных в режиме, близком к реальному времени

Начните интеграцию с нулевым использованием ETL
Обращение в службу поддержки

Преимущества интеграции Aurora с нулевым использованием ETL в HAQM Redshift

Интеграция HAQM Aurora и HAQM Redshift с нулевым использованием ETL обеспечивает функции аналитики и машинного обучения (МО) практически в реальном времени за счет применения HAQM Redshift к транзакционных данных в объеме до нескольких петабайтов. В течение нескольких секунд после записи данных о транзакции в HAQM Aurora эти данные будут эффективно переданы в HAQM Redshift благодаря интеграции с нулевым использованием ETL. Это избавляет от необходимости создавать сложные конвейеры данных для операций по извлечению, преобразованию и загрузке (ETL) и управлять ими.

Преимущества

Получите доступ к транзакционным данным от Aurora в HAQM Redshift за считанные секунды, чтобы выполнять аналитику и машинное обучение на основе петабайтов данных практически в реальном времени.

Быстро анализируйте транзакционные данные практически в реальном времени без необходимости создавать конвейеры ETL и управлять ими для передачи транзакционных данных в аналитические системы.

Консолидируйте несколько таблиц из разных кластеров баз данных Aurora и выполняйте репликацию данных в одно хранилище данных HAQM Redshift для получения унифицированной аналитики по нескольким приложениям и источникам данных.

Создавайте аналитику транзакционных данных в режиме, близком к реальному времени, без необходимости управлять инфраструктурой конвейеров данных при использовании бессерверной конфигурации HAQM Aurora, версия 2 и бессерверного HAQM Redshift.

Примеры использования

Используйте аналитику HAQM Redshift и возможности машинного обучения для получения аналитической информации режиме, близком к реального времени, из транзакционных и других данных и эффективного реагирования на критические события, требующие срочного решения. Аналитика, близкая к реальному времени, поможет вам получить более точную и своевременную информацию о таких сценариях использования, как таргетинг контента, оптимизированный игровой процесс, мониторинг качества данных, обнаружение мошенничества и анализ поведения клиентов.

Благодаря интеграции с нулевым использованием ETL Aurora с HAQM Redshift вы можете использовать возможности HAQM Redshift для анализа петабайтов транзакционных данных, консолидированных из нескольких кластеров баз данных Aurora. Вы можете воспользоваться комплексными аналитическими возможностями HAQM Redshift, такими как встроенное машинное обучение, материализованные представления, совместное использование данных и федеративный доступ к нескольким хранилищам данных и озерам данных. Машинное обучение HAQM Redshift позволяет выполнять миллиарды прогнозов с помощью простых SQL-команд и встроенной интеграции в HAQM SageMaker.

Перемещение данных из транзакционной базы данных в центральное хранилище данных часто требует создания, организации управления и эксплуатации сложного решения ETL для конвейера данных. Благодаря интеграции с нулевым использованием ETL вы можете легко реплицировать схему, существующие данные и изменения данных из базы данных Aurora в новый или существующий кластер HAQM Redshift. Интеграция с нулевым использованием ETL устраняет необходимость в сложном управлении конвейером данных.

Начало работы

Чтобы создать интеграцию с нулевым использованием ETL между Aurora и HAQM Redshift, вы указываете кластер БД Aurora в качестве источника данных и хранилище данных HAQM Redshift в качестве цели. Интеграция реплицирует данные из исходной базы данных в целевое хранилище данных. Данные становятся доступными в HAQM Redshift через несколько секунд, что позволяет исследователям начать использовать аналитику и функции машинного обучения HAQM Redshift для обработки данных. Подробные сведения см. в руководствах по началу работы с Aurora и HAQM Redshift.

Ресурсы

Цены

AWS не взимает дополнительную плату за интеграция с нулевым использованием ETL Aurora с HAQM Redshift. Вы платите за существующие ресурсы Aurora и HAQM Redshift, используемые для создания и обработки данных об изменениях, созданных в рамках интеграции с нулевым использованием ETL. Эти ресурсы могут включать:

  • Дополнительные возможности ввода-вывода и хранилища, используемые для сбора данных об изменениях
  • Затраты на экспорт снимков состояния при первоначальном экспорте данных для заполнения баз данных HAQM Redshift
  • Дополнительное хранилище HAQM Redshift для хранения реплицированных данных
  • Дополнительные вычислительные ресурсы HAQM Redshift для обработки и репликации данных
  • Затраты на передачу данных между зонами доступности при перемещении данных от источника к целевому объекту.

Непрерывная обработка изменений данных посредством интеграции с нулевым использованием ETL доступна бесплатно. Дополнительную информацию см. на странице цен на Aurora. 

Клиенты

  • Infosys

     

    Проверка грузов имеет решающее значение для поддержания целостности цепочки поставок для клиентов компании Infosys в сфере производства, розничной торговли и логистики. Чтобы обеспечить этот процесс, необходим сбор данных отслеживания грузов в реальном времени для их аналитики и мониторинга отправлений.

    Компания Infosys применила возможности интеграции с нулевым использованием ETL для сбора данных в режиме реального времени, что дает возможность отслеживать доставку грузов и получать информацию об их местоположении, статусе и предполагаемом времени прибытия. Это позволяет оптимизировать грузовые перевозки и значительно снизить затраты. Благодаря комплексной отчетности и аналитике с нулевым использованием ETL, а также отраслевым чертежам Infosys Cobalt и Topaz теперь мы можем принимать решения на основе данных.

    Сунил Сенан, SVP and Global Head of Data, Analytics and AI (старший вице-президент и директор по глобальному развитию данных, аналитики и ИИ) в компании Infosys

  • Intuit

    Intuit – это глобальная платформа финансовых технологий, которая обеспечивает успех 100 млн потребителей и клиентов малого бизнеса с помощью TurboTax, Credit Karma, QuickBooks и Mailchimp. Учитывая сложность предстоящей миграции, в компании Intuit ожидали, что ее скорость будет ошеломляющей и составит 10 млн профилей в день. Компания Intuit обратилась к интеграции HAQM Aurora с нулевым использованием ETL в HAQM Redshift, чтобы упростить процесс получения данных и устранить необходимость в сложных инженерных работах.

    Огромный объем данных и необходимость осуществления беспрепятственной миграции стали для нас серьезной проблемой. Кроме того, необходимо было решение, которое позволило бы нам мгновенно анализировать процесс миграции и принимать быстрые решения на основе данных. Для решения этой проблемы мы обратились к интеграции HAQM Aurora с нулевым использованием ETL в HAQM Redshift, чтобы упростить процесс приема данных и устранить необходимость в сложных инженерных работах. Благодаря интеграции с нулевым использованием ETL мы смогли отправлять огромные объемы данных в HAQM Redshift без сбора данных или отдельных заданий по их обработке, что позволило быстро получать аналитическую информацию для принятия важных технических и деловых решений, сэкономив месяцы усилий, которые могли потребоваться в противном случае. Интеграция HAQM Aurora с нулевым использованием ETL с HAQM Redshift помогла нам изучить новые модели компании Intuit для крупномасштабной миграции данных и аналитики в режиме, близком к реальному времени.

    Аруна Гиваре, Product Development Manager (руководитель отдела по разработке продукции) в компании Intuit

  • KINTO Technologies Corporation

    KINTO Technologies Corporation является ведущим игроком в индустрии мобильных платформ и технологической компанией, отвечающей за развитие сервиса KINTO и предоставления финансовых услуг корпорации Toyota. С помощью интеграции HAQM Aurora с нулевым использованием ETL в HAQM Redshift компания KINTO Technologies смогла создать более устойчивый конвейер данных и теперь может применять расширенные аналитические функции HAQM Redshift к своим эксплуатационным данным практически в реальном времени.

    До появления интеграции с нулевым использованием ETL мы применяли специально разработанное решение. Оно непрерывно передавало изменения из наших основных баз данных в последующие приложения, но мы постоянно сталкивались с проблемами производительности, которые влияли на нашу рабочую нагрузку. Для уменьшения этого влияния нам пришлось вручную настраивать конвейеры, чтобы реже отправлять обновления и довольствоваться старыми данными в HAQM Redshift. Благодаря интеграции HAQM Aurora с нулевым использованием ETL с HAQM Redshift мы можем всегда иметь доступ к данным в HAQM Redshift практически в реальном времени, что позволяет разработчикам ускорить ручное управление конвейерами данных для операций ETL или решение проблем, влияющих на производительность рабочих нагрузок, снижая тем самым операционные затраты.

    Хитоши Кагеяма, Executive Vice President (исполнительный вице-президент) в корпорации KINTO Technologies

  • Money Forward i

    Компания Money Forward i стремится повысить производительность и творческий потенциал ИТ-команд в организациях благодаря оптимизации повторяющихся задач, сокращению расходов и укреплению безопасности с помощью Admina, интуитивно понятной платформы управления SaaS.

    До выхода интеграции HAQM Aurora с нулевым использованием ETL с HAQM Redshift задача внедрения и поддержки наших операций ETL по анализу данных продуктов из HAQM Aurora MySQL в HAQM Redshift была непростой. Интеграция HAQM Aurora с нулевым использованием ETL в HAQM Redshift обеспечивает синхронизацию данных между нашими базами данных Aurora MySQL и HAQM Redshift практически в реальном времени, сокращая срок создания аналитической среды с месяца до трех часов. Помимо снижения первоначальной нагрузки на этапе разработки, интеграция с нулевым использованием ETL уменьшает влияние на производственную среду, что позволяет создать среду анализа с минимальными затратами и максимальной скоростью.

    Кацутоси Мураками, руководитель и директор по разработке программных продуктов, Money Forward i

  • Woolworths

    Woolworths – ведущая компания розничной торговли в странах Африки к югу от Сахары, предлагающая широкий ассортимент качественной одежды, товаров общего назначения и продуктов питания с акцентом на инновации, ценности и устойчивое развитие.

    Получение своевременной аналитической информации на основе наших данных играет очень важную роль, так как мы получаем возможность быстро продвигать основанные на данных решения в нашем бизнесе и эффективно реагировать на критически важные события, требующие незамедлительного реагирования. Обработка данных об изменениях и коагуляции записей отнимала много времени и была более дорогостоящей, чем ожидалось. Применяя интеграцию HAQM Aurora с нулевым использованием ETL в HAQM Redshift, мы смогли получить те же результаты за день, на разработку которых в противном случае потребовалось бы два месяца из-за инженерных усилий, необходимых для операций ETL. Благодаря интеграции наша задержка данных была значительно снижена, так как они были готовы к запросу, что позволило нам быстрее принимать решения по мере развития событий. Благодаря интеграции HAQM Aurora с нулевым использованием ETL с HAQM Redshift мы сократили расходы, затраты на проектирование и количество точек отказа в управлении конвейерами.

    Раэми Шредер, Business Intelligence Lead (руководитель отдела бизнес-аналитики) в компании Woolworths