Funzionalità di Servizio gestito da HAQM per Apache Flink

Perché dovrei scegliere Servizio gestito per Apache Flink?

Il servizio gestito da HAQM per Apache Flink semplifica la creazione e l'esecuzione di applicazioni di streaming in tempo reale utilizzando Apache Flink. Il servizio gestito da HAQM per Apache Flink effettua il provisioning e configura i cluster Flink e orchestra la gestione dei processi Flink. Configura il monitoraggio e gli allarmi, offre il dimensionamento automatico ed è progettato per l'alta disponibilità (incluso il failover della zona di disponibilità). Il servizio offre l'accesso alle API espressive di Apache Flink e, tramite il Servizio gestito da HAQM per Apache Flink, puoi interrogare in modo interattivo flussi di dati o avviare applicazioni stateful in pochi passaggi. Con questo servizio gestito, puoi iniziare a usare Apache Flink e implementare e gestire rapidamente le tue applicazioni di elaborazione dei flussi di dati.

Con il Servizio gestito da HAQM per Apache Flink, hai accesso all'intera gamma di funzionalità leader del settore di Apache Flink, tra cui l'elaborazione dei dati a bassa latenza e ad alta velocità di trasmissione effettiva, l'elaborazione Exactly-Once e lo stato durevole delle applicazioni. Con il servizio gestito da HAQM per Apache Flink, puoi implementare applicazioni sicure, conformi e ad alta disponibilità. Il servizio gestito da HAQM per Apache Flink replica facilmente dati e carichi di lavoro su più zone di disponibilità, garantendo prestazioni e affidabilità ininterrotte e senza dover pagare per capacità aggiuntiva.

Lo sviluppo delle applicazioni con il servizio gestito da HAQM per Apache Flink è più semplice perché il servizio supporta le API flessibili di Flink in Java, Scala, Python e SQL. Il servizio gestito da HAQM per Apache Flink si integra con centinaia di origini dati e destinazioni, come Streaming gestito da HAQM per Apache Kafka (HAQM MSK), flusso di dati HAQM Kinesis, HAQM Kinesis Data Firehose, HAQM Simple Storage Service (HAQM S3), HAQM DynamoDB, connettori JDBC e connettori personalizzati.

Applicazioni di elaborazione di flussi che utilizzano Apache Flink

Open all

Open source

Servizio gestito da HAQM per Apache Flink include librerie open source come Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrazioni dei servizi AWS. Apache Flink è un framework e motore per la creazione di applicazioni in streaming altamente disponibili e precise. Apache Beam è un modello unificato per la definizione di applicazioni di streaming ed elaborazione dei dati in batch eseguite su più motori di runtime. Gli SDK AWS aiutano a semplificare la codifica per numerosi servizi AWS fornendo API nel linguaggio preferito e include librerie, esempi di codici e documentazione di AWS.

API flessibili

Il servizio gestito da HAQM per Apache Flink supporta le API di Flink in Java, Scala, Python e SQL specializzate per differenti casi d'uso, tra cui elaborazione di eventi stateful, ETL (extract, transform, and load) in streaming e analisi in tempo reale. Con operatori e funzionalità di analisi predefiniti, è possibile creare un'applicazione di streaming Apache Flink in poche ore anziché mesi e le librerie sono estensibili, quindi è possibile eseguire l'elaborazione in tempo reale per un'ampia varietà di casi d'uso.

Integrazioni di servizi AWS

È possibile configurare e integrare un'origine dati o una destinazione con pochissimo codice. Utilizza le librerie del servizio gestito da HAQM per Apache Flink per l'integrazione con i seguenti servizi AWS:

Funzionalità di integrazione avanzate

Oltre alle integrazioni AWS, le librerie del servizio gestito da HAQM per Apache Flink includono più di 40 connettori Apache Flink e la possibilità di creare integrazioni personalizzate. Con un paio di linee di codice in più, è possibile modificare il comportamento di ogni integrazione con funzionalità avanzate. Inoltre, è possibile creare integrazioni personalizzate anche usando un set di primitive di Apache Flink che consentono di leggere e scrivere su file, directory, socket o altre origini a cui è possibile accedere da Internet.

Elaborazione esattamente una volta

Grazie al servizio gestito da HAQM per Apache Flink è possibile creare applicazioni i cui record elaborati influiscono sui risultati esattamente una sola volta e vengono indicati come una elaborazione esatta. Anche nel caso di interruzione di un'applicazione, ad esempio per manutenzione interna o per un aggiornamento avviato dall'utente, il servizio garantisce che tutti i dati vengano elaborati e che non ci siano duplicati.

Elaborazione stateful

Il servizio archivia calcoli precedenti e in corso nella memoria dell’applicazione in esecuzione. Confronta risultati in tempo reale e precedenti relativi a qualsiasi periodo e ottieni il ripristino rapido durante le interruzioni dell’applicazione. Lo stato è sempre crittografato e salvato in modo incrementale nella memoria di applicazioni in esecuzione.

Backup durevoli delle applicazioni

Crea ed elimina backup durevoli delle applicazioni attraverso una semplice chiamata API. Ripristina le tue applicazioni dall'ultimo backup immediatamente dopo un'interruzione oppure ripristina l'applicazione a una versione precedente.

Integrazione ML

Il servizio gestito da HAQM per Apache Flink supporta algoritmi di machine learning (ML). È possibile creare applicazioni in tempo reale per la classificazione, il clustering, la valutazione, i suggerimenti di ingegneria delle funzionalità, le regressioni e le statistiche.

Compatibilità con il registro degli schemi di AWS Glue

Il servizio gestito da HAQM per Apache Flink è compatibile con il registro degli schemi di AWS Glue. Il registro degli schemi aiuta a migliorare la qualità dei dati e a proteggerti da modifiche impreviste utilizzando controlli di compatibilità che regolano l'evoluzione dello schema per i carichi di lavoro del servizio gestito da HAQM per Apache Flink connessi ad Apache Kafka, HAQM MSK o flussi di dati HAQM Kinesis, come connettore di origine o sink.