Null-ETL-Integration von HAQM Aurora in HAQM Redshift

Ermöglichen Sie Analysen von Petabyte an Transaktionsdaten in nahezu Echtzeit

Erste Schritte mit Null-ETL-Integrationen
Support kontaktieren

Warum Aurora-Null-ETL-Integration mit HAQM Redshift?

Die Null-ETL-Integration von HAQM Aurora in HAQM Redshift ermöglicht Analysen und Machine Learning (ML) nahezu in Echtzeit mithilfe von HAQM Redshift für Petabyte an Transaktionsdaten. Innerhalb weniger Sekunden, nachdem die Transaktionsdaten in HAQM Aurora geschrieben wurden, stellt Null ETL die Daten nahtlos in HAQM Redshift zur Verfügung. Damit entfällt die Anforderung, komplexe Datenpipelines zu entwickeln und zu verwalten, die Extract, Transform, Load (ETL)-Vorgänge durchführen.

Vorteile

Greifen Sie in HAQM Redshift innerhalb von Sekunden auf Transaktionsdaten von Aurora zu, um Analytics und ML für Petabyte an Daten nahezu in Echtzeit durchzuführen.

Analysieren Sie Ihre Transaktionsdaten schnell und nahezu in Echtzeit, ohne ETL-Pipelines erstellen und verwalten zu müssen, um Transaktionsdaten in Analytics-Systeme zu übertragen.

Konsolidieren Sie mehrere Tabellen aus verschiedenen Aurora-Datenbankclustern und replizieren Sie Ihre Daten in ein Data Warehouse von HAQM Redshift, um einheitliche Analytiken für mehrere Anwendungen und Datenquellen durchzuführen.

Führen Sie Analytics von Transaktionsdaten nahezu in Echtzeit durch, ohne eine Infrastruktur verwalten zu müssen, wenn Sie sowohl HAQM Aurora Serverless v2 als auch HAQM Redshift Serverless verwenden.

Anwendungsfälle

Nutzen Sie die Analytics- und ML-Funktionen von HAQM Redshift, um nahezu in Echtzeit Erkenntnisse aus Transaktions- und anderen Daten abzuleiten, um effektiv auf wichtige, zeitkritische Ereignisse zu reagieren. Mithilfe von Analytics nahezu in Echtzeit können Sie genauere und zeitnahe Erkenntnisse für Anwendungsfälle wie Content-Targeting, optimiertes Spielerlebnis, Überwachung der Datenqualität, Betrugserkennung und Analyse des Kundenverhaltens erhalten.

Mit der Aurora-Null-ETL-Integration in HAQM Redshift können Sie HAQM-Redshift-Funktionen nutzen, um Petabyte Ihrer Transaktionsdaten zu analysieren, die aus mehreren Aurora-Datenbankclustern konsolidiert wurden. Sie können die umfassenden Analytics-Funktionen von HAQM Redshift nutzen, z. B. integriertes ML, materialisierte Ansichten, Datenaustausch und Verbundzugriff auf mehrere Datenspeicher und Data Lakes. Mit HAQM Redshift ML können Sie Milliarden von Prognosen mit einfachen SQL-Befehlen mit nativer Integration in HAQM SageMaker ausführen.

Das Verschieben von Daten aus einer Transaktionsdatenbank in ein zentrales Data Warehouse erfordert häufig die Erstellung, Verwaltung und den Betrieb einer komplexen ETL-Lösung für die Datenpipeline. Mit einer Null-ETL-Integration können Sie das Schema, vorhandene Daten und Datenänderungen aus Ihrer Aurora-Datenbank nahtlos in einen neuen oder bestehenden HAQM-Redshift-Cluster replizieren. Die Null-ETL-Integration macht ein komplexes Datenpipeline-Management überflüssig.

Erste Schritte

Um Ihre Null-ETL-Integration zwischen Aurora und HAQM Redshift zu erstellen, geben Sie einen Aurora-DB-Cluster als Datenquelle und ein HAQM Redshift Data Warehouse als Ziel an. Die Integration repliziert Daten aus der Quelldatenbank in das Ziel-Data-Warehouse. Die Daten sind innerhalb von Sekunden in HAQM Redshift verfügbar, sodass Datenanalysten beginnen können, die Analytics- und ML-Funktionen von HAQM Redshift für die Daten zu verwenden. Weitere Informationen finden Sie in den Anleitungen für die ersten Schritte für Aurora und HAQM Redshift.

Preise

AWS erhebt keine zusätzliche Gebühr für die Aurora-Null-ETL-Integration in HAQM Redshift. Sie zahlen für vorhandene Aurora- und HAQM-Redshift-Ressourcen, die zur Erstellung und Verarbeitung der im Rahmen einer Null-ETL-Integration generierten Änderungsdaten verwendet werden. Zu diesen Ressourcen könnten gehören:

  • Zusätzliche E/A- und Speicherkapazität werden genutzt, um die Erfassung von Änderungsdaten zu aktivieren
  • Snapshot-Exportkosten für den ersten Datenexport zum Seed Ihrer HAQM-Redshift-Datenbanken
  • Zusätzlicher HAQM-Redshift-Speicher zum Speichern replizierter Daten
  • Zusätzliche HAQM-Redshift-Rechenleistung für die Verarbeitung der Datenreplikation
  • AZ-übergreifende Datenübertragungskosten für die Übertragung von Daten von der Quelle zum Ziel.

Die fortlaufende Verarbeitung von Datenänderungen durch die Null-ETL-Integration wird ohne zusätzliche Kosten angeboten. Weitere Informationen finden Sie auf der Seite mit den Aurora-Preisen. 

Kunden

  • Infosys

     

    Die Frachtverifizierung ist für die Aufrechterhaltung der Integrität der Lieferkette für die Produktions-, Einzelhandels- und Logistikkunden von Infosys von entscheidender Bedeutung. Um dies zu erreichen, ist die Erfassung von Frachtverfolgungsdaten in Echtzeit für die Sendungsverfolgung und Frachtanalytik erforderlich.

    Infosys hat die Funktionen von Null-ETL genutzt, um Daten in Echtzeit zu erfassen und so die Nachverfolgung von Frachtsendungen zu ermöglichen und Einblick in Standort, Status und geschätzte Ankunftszeit zu bieten. Dies ermöglicht eine Optimierung des Frachtbetriebs und eine erhebliche Kostensenkung. Mit umfassender Null-ETL-Berichten und -Analytik sowie Branchenvorlagen von Infosys Cobalt und Topaz ist jetzt eine datengesteuerte Entscheidungsfindung möglich.

    Sunil Senan, SVP and Global Head of Data, Analytics and AI – Infosys

  • Intuit

    Intuit ist die globale Finanztechnologieplattform, die mit TurboTax, Credit Karma, QuickBooks und Mailchimp den Wohlstand von 100 Millionen Verbrauchern und Kleinunternehmenskunden fördert. Angesichts der Komplexität einer bevorstehenden Migration rechnete Intuit mit einer erstaunlichen Rate von mehr als 10 Millionen Profilmigrationen pro Tag. Intuit entschied sich für die Null-ETL-Integration von HAQM Aurora MySQL in HAQM Redshift, um den Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden.

    Das schiere Datenvolumen und die Notwendigkeit einer nahtlosen Migration stellten uns vor eine große Herausforderung. Darüber hinaus benötigten wir eine Lösung, mit der wir den Migrationsprozess schnell analysieren und schnelle, datengesteuerte Entscheidungen treffen konnten. Um diesen Herausforderungen zu begegnen, haben wir uns für die Null-ETL-Integration von HAQM Aurora in HAQM Redshift entschieden, um unseren Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden. Mit Null-ETL konnten wir riesige Datenmengen an HAQM Redshift senden, ohne dass Daten erfasst oder separat aufgenommen werden mussten. Dies ermöglichte schnelle Einblicke für wichtige technische und geschäftliche Entscheidungen und sparte monatelangen Aufwand ein, der sonst erforderlich gewesen wäre. Durch die Null-ETL-Integration von Aurora in HAQM Redshift konnten wir bei Intuit neue Muster für umfangreiche Datenmigrationen und Analytik nahezu in Echtzeit erkunden.

    Aruna Ghiware, Product Development Manager – Intuit

  • KINTO Technologies Corporation

    Die KINTO Technologies Corporation ist ein führender Anbieter der Mobilitätsplattformbranche und das Technologieunternehmen, das für die Entwicklung des KINTO-Service als Finanzdienstleistungsunternehmen von Toyota verantwortlich ist. Durch die Null-ETL-Integration von HAQM Aurora MySQL in HAQM Redshift konnte KINTO Technologies eine robustere Datenpipeline aufbauen und kann nun die fortschrittlichen Analytik-Features von HAQM Redshift nahezu in Echtzeit auf seine Betriebsdaten anwenden.

    Bevor die Null-ETL-Integration verfügbar war, haben wir eine maßgeschneiderte Lösung verwendet, die kontinuierlich Änderungen von unseren Kerndatenbanken an Downstream-Anwendungen streamt. Wir hatten jedoch ständig mit Leistungsproblemen und Auswirkungen auf unser Produktions-Workload zu kämpfen. Um die Auswirkungen auf die Leistung den Produktionsworkload zu bewältigen, mussten wir die Pipelines manuell anpassen, um Updates seltener zu senden und uns mit alten Daten in HAQM Redshift zufrieden zu geben. Durch die Null-ETL-Integration von Aurora MySQL in HAQM Redshift sind wir in der Lage, Daten fast in Echtzeit in HAQM Redshift verfügbar zu haben. Dadurch entfällt der Zeitaufwand für Entwickler, die Daten-Pipelines für ETL-Prozesse manuell verwalten oder sich mit Leistungseinbußen bei unseren Workloads befassen müssen. Das trägt dazu bei, unseren betrieblichen Aufwand zu reduzieren.

    Hitoshi Kageyama, Executive Vice President – KINTO Technologies Corporation

  • Money Forward i

    Money Forward i ist bestrebt, die Produktivität und das kreative Potenzial von IT-Teams in Unternehmen zu steigern, indem es sich wiederholende Aufgaben rationalisiert, Kosten senkt und die Sicherheit durch Admina, ihre intuitive SaaS-Managementplattform, erhöht.

    Vor der Veröffentlichung der Null-ETL-Integration von HAQM Aurora in HAQM Redshift war die Implementierung und Wartung unserer ETL-Prozesse zur Analyse von Produktdaten aus HAQM Aurora MySQL in HAQM Redshift eine Herausforderung. Die Null-ETL-Integration von Aurora MySQL in HAQM Redshift ermöglicht eine Datensynchronisierung zwischen unseren Aurora-MySQL-Datenbanken und HAQM Redshift nahezu in Echtzeit. Dadurch wird die Zeit für den Aufbau einer Analyseumgebung von einem Monat auf nur drei Stunden reduziert. Die Null-ETL-Integration reduziert nicht nur den anfänglichen Aufwand bei der Entwicklung. Es werden auch weniger Auswirkungen auf die Produktionsumgebungen verursacht, sodass die Analyseumgebung mit minimalen Kosten und maximaler Geschwindigkeit erstellt werden kann.

    Katsutoshi Murakami, Director and CPO – Money Forward i

  • Woolworths

    Woolworths ist ein führender Einzelhändler in Afrika südlich der Sahara, der eine breite Palette an hochwertiger Kleidung, allgemeinen Waren und Lebensmitteln anbietet, wobei der Schwerpunkt auf Innovation, Wert und Nachhaltigkeit liegt.

    Es ist von entscheidender Bedeutung, aus unseren Daten zeitnahe Erkenntnisse abzuleiten, da wir so schnell datengesteuerte Entscheidungen in unserem gesamten Unternehmen fördern und effektiv auf kritische, zeitgebundene Ereignisse reagieren können. Die Erfassung von Änderungsdaten und die Koagulation von Aufzeichnungen waren zeitaufwändig und die Verarbeitung kostspieliger als erwartet. Durch die Nutzung der Null-ETL-Integration von HAQM Aurora MySQL in HAQM Redshift konnten wir innerhalb eines Tages dieselben Ergebnisse erzielen, deren Entwicklung aufgrund des technischen Aufwands für ETL-Prozesse sonst 2 Monate gedauert hätte. Unsere Datenlatenz wurde mithilfe der Integration erheblich reduziert, da sich die Daten in einem abfragebereiten Zustand befanden. Dies führte dazu, dass wir Entscheidungen schneller treffen konnten, als Ereignisse eintraten. Mit der Null-ETL-Integration von Aurora in HAQM Redshift haben wir unseren technischen Aufwand gesenkt, die Anzahl der Fehlerquellen bei der Pipeline-Verwaltung reduziert und Kosten gespart.

    Raamy Schroeder, Business Intelligence Lead – Woolworths