Domande frequenti sul Servizio gestito da HAQM per Apache Flink

Sì, tramite i connettori DataStream di Apache Flink, le applicazioni del servizio gestito da HAQM per Apache Flink possono utilizzare il registro degli schemi di AWS Glue, una funzionalità serverless di AWS Glue. È possibile integrare Apache Kafka, HAQM MSK e flusso di dati HAQM Kinesis, come sink o origine, con i carichi di lavoro del servizio gestito da HAQM per Apache Flink. Consulta la Guida per gli sviluppatori del registro degli schemi AWS Glue per saperne di più.

Un'applicazione è l'entità del servizio gestito da HAQM per Apache Flink con cui si lavora. Le applicazioni del servizio gestito da HAQM per Apache Flink legge ed elabora continuamente i dati in streaming in tempo reale. Potrai scrivere il codice dell'applicazione in un linguaggio supportato da Apache Flink per elaborare i flussi di dati in entrata e creare un determinato risultato. Quindi, il servizio gestito da HAQM per Apache Flink scrive l'output in una destinazione configurata.

Ogni applicazione è composta da 3 componenti principali:

1. Input: l'origine del flusso per l'applicazione. Nella configurazione di input, mappa le origini di streaming ai flussi di dati. I dati fluiscono dalle origini dati ai flussi di dati. Per elaborare i dati di questi flussi utilizzi il codice dell'applicazione e invii i dati elaborati ai flussi o alle destinazioni successive in applicazione. Puoi aggiungere gli input all'interno del codice dell'applicazione per le applicazioni Apache Flink e i notebook Studio e tramite l'API per le applicazioni del servizio gestito da HAQM per Apache Flink. 
2. Codice dell'applicazione: una serie di operatori Apache Flink che elaborano l'input e producono l'output. Nella sua forma più semplice, il codice dell'applicazione può essere un singolo operatore Apache Flink che legge da un flusso di dati in applicazione associato a un'origine del flusso e scrive su un flusso di dati in applicazione associato a un output. Per un notebook Studio può essere una semplice query di selezione di Flink SQL, con i risultati mostrati nel contesto del notebook. Puoi scrivere codice Apache Flink nei linguaggi supportati per le applicazioni del servizio gestito da HAQM per Apache Flink o notebook Studio.
3. Output: è quindi possibile configurare facoltativamente l'output di un'applicazione per rendere persistenti i dati su una destinazione esterna. Aggiungi questi output all'interno del codice dell'applicazione per le applicazioni del servizio gestito da HAQM per Apache Flink e i notebook Studio. 

AWS offre numerosi strumenti che è possibile utilizzare per monitorare le applicazioni del servizio gestito da HAQM per Apache Flink, compreso l'accesso al pannello di controllo Flink per le applicazioni Apache Flink. Alcuni di questi strumenti possono essere configurati per monitorare le applicazioni in automatico. Per ulteriori informazioni su come monitorare la tua applicazione, consulta le seguenti guide per gli sviluppatori: 

• Monitoraggio del servizio gestito da HAQM per Apache Flink nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink.
• Monitoraggio del servizio gestito da HAQM per Apache Flink nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink Studio.

Il servizio gestito da HAQM per Apache Flink deve disporre delle autorizzazioni di lettura per i record dalle origini dati in streaming che specifichi nella tua applicazione. Il servizio gestito da HAQM per Apache Flink deve inoltre disporre delle autorizzazioni di scrittura dell'output della tua applicazione nelle destinazioni specificate nella tua configurazione di output dell'applicazione. Puoi concedere queste autorizzazioni creando ruoli AWS Identity and Access Management (IAM) che possono essere assunti dal servizio gestito da HAQM per Apache Flink. Le autorizzazioni concesse a questo ruolo determinano cosa può fare il servizio gestito da HAQM per Apache Flink quando assume il ruolo. Per ulteriori informazioni, consulta le seguenti guide per gli sviluppatori:

• Concessione delle autorizzazioni nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink.
• Concessione delle autorizzazioni nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink Studio.

Il servizio gestito da HAQM per Apache Flink dimensiona in modo elastico le risorse dell'applicazione per soddisfare la velocità di trasmissione effettiva dei dati del flusso di origine e la complessità delle query per la maggior parte degli scenari. Il servizio gestito da HAQM per Apache Flink fornisce capacità sotto forma di HAQM KPU. Una KPU fornisce 1 vCPU e 4 GB di memoria. 

Per le applicazioni Apache Flink e i notebook Studio, il servizio gestito da HAQM per Apache Flink assegna 50 GB di archiviazione delle applicazioni in esecuzione per KPU che l'applicazione utilizza per i checkpoint e che può essere utilizzato tramite il disco temporaneo. Un checkpoint è un backup aggiornato di un'applicazione in esecuzione che viene utilizzato per il ripristino subito dopo l'interruzione dell'applicazione. Puoi anche controllare l'esecuzione parallela per le attività delle applicazioni del servizio gestito da HAQM per Apache Flink (come la lettura da un'origine o l'esecuzione di un operatore) utilizzando i parametri Parallelism e ParallelismPerKPU nell'API. Parallelism definisce il numero di istanze concomitanti di un'attività. Tutti gli operatori, le origini e i sink vengono eseguiti con un determinato parallelismo, per impostazione predefinita, 1. ParallelismPerKPU definisce quante attività parallele possono essere pianificate per KPU della tua applicazione, per impostazione predefinita, 1. Per ulteriori informazioni, consulta Dimensionamento nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink. 

Per scoprire di più sulle best practice per Apache Flink, vai alla sezione Best practice della Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink. Questa sezione spiega le best practice per la tolleranza ai guasti, le prestazioni, il logging, il codice e molto altro. 

Per informazioni sulle best practice per il servizio gestito da HAQM per Apache Flink Studio, consulta la sezione Best practice della Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink Studio. Oltre le best practice, in questa sezione descrive gli esempi per le applicazioni SQL, Python e Scala, i requisiti per implementare il tuo codice come applicazione di elaborazione di flussi in esecuzione continua, le prestazioni, la registrazione e altro.

Sì. Puoi accedere alle risorse dietro un HAQM VPC. Scopri come configurare l'applicazione per l'accesso al VPC nella sezione Utilizzo di un HAQM VPC della Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink.

Le applicazioni del servizio gestito da HAQM per Apache Flink e i notebook del servizio gestito da HAQM per Apache Flink Studio configurati per accedere alle risorse in un particolare VPC non hanno accesso a Internet come configurazione predefinita. Scopri come configurare l'accesso a Internet per la tua applicazione nella sezione Accesso a Internet e al servizio della Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink.

Con il servizio gestito da HAQM per Apache Flink, paghi solo per ciò che usi. Non è necessario effettuare il provisioning delle risorse e non sono previsti costi anticipati per il servizio gestito da HAQM per Apache Flink. 

Viene addebitata una tariffa oraria calcolata sul numero medio di unità di elaborazione di HAQM KPU utilizzate per eseguire l'applicazione di elaborazione dei flussi. Una KPU è un'unità di capacità di elaborazione dei flussi composta da 4 GB di memoria e 1 vCPU. Il servizio gestito da HAQM per Apache Flink dimensiona automaticamente il numero di KPU richieste dall'applicazione di elaborazione dei flussi man mano che le esigenze di memoria e calcolo variano in risposta alla complessità di elaborazione e alla velocità di trasmissione effettiva dei dati in streaming elaborati. 

Per le applicazioni Apache Flink e Apache Beam, viene addebitata una singola KPU in più per applicazione, utilizzata per l'orchestrazione delle applicazioni. Alle applicazioni Apache Flink e Apache Beam viene addebitata anche l'esecuzione dello storage delle applicazioni e dei loro backup durevoli. L'esecuzione dell'archiviazione delle applicazioni è usata per le funzionalità di elaborazione con stato nel servizio gestito da HAQM per Apache Flink e viene addebitata per GB al mese. I backup durevoli delle applicazioni sono opzionali e forniscono un punto di ripristino point-in-time per le applicazioni, con addebito per GB al mese. 

Per il servizio gestito da HAQM per Apache Flink Studio in modalità di sviluppo o interattiva, ti viene addebitata una KPU aggiuntiva per l'orchestrazione delle applicazioni e una per lo sviluppo interattivo. Ti viene anche addebitato il costo dell'archiviazione delle applicazioni. Non ti vengono addebitati costi per i backup durevoli delle applicazioni.

Per ulteriori informazioni sui prezzi, consulta la pagina dei prezzi del servizio gestito da HAQM per Apache Flink.

Per le applicazioni Apache Flink e Apache Beam, se l'applicazione del servizio gestito da HAQM per Apache Flink è in esecuzione ti verranno addebitati almeno due KPU e 50 GB di archiviazione dell'applicazione in esecuzione.

Per i notebook del servizio gestito da HAQM per Apache Flink Studio, se l'applicazione è in esecuzione ti viene addebitato un minimo di 3 KPU e 50 GB di spazio di archiviazione dell'applicazione in esecuzione.

Apache Flink è un framework e un motore open-source per l'elaborazione dei dati in batch e in flussi. Semplifica lo sviluppo di applicazioni di streaming, poiché fornisce operatori potenti e risolve molto bene i problemi chiave dei flussi come l'elaborazione duplicata. Apache Flink fornisce la distribuzione dei dati, la comunicazione e la tolleranza ai guasti per i calcoli distribuiti sui flussi di dati.

Puoi iniziare scaricando le librerie open source che includono gli SDK AWS, Apache Flink e i connettori per i servizi AWS. Puoi ottenere istruzioni su come scaricare le librerie e creare la prima applicazione nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink.

Scrivi il codice Apache Flink utilizzando flussi di dati e operatori di flussi. I flussi di dati dell'applicazione sono la struttura dei dati rispetto ai quali esegui l'elaborazione utilizzando il tuo codice. I dati fluiscono continuamente dalle origini nei flussi di dati dell'applicazione. Uno o più operatori di flusso sono usati per definire l'elaborazione sui flussi di dati dell'applicazione, inclusi trasforma, partiziona, aggrega, unisci e finestra. I flussi di dati e gli operatori possono essere raggruppati in catene seriali e parallele. Di seguito è riportato un breve esempio in cui viene usato pseudo codice.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Gli operatori prendono il flusso di dati di un'applicazione come input e inviano i dati elaborati al flusso di dati di un'applicazione come output. Gli operatori possono essere connessi per creare applicazioni con più passaggi e non richiedono conoscenze avanzate dei sistemi distribuiti da implementare e utilizzare.

Il servizio gestito da HAQM per Apache Flink supporta tutti gli operatori di Apache Flink e può essere utilizzato per risolvere un'ampia varietà di casi d'uso tra cui map, KeyBy, aggregazioni, finestre, join e altro ancora. Ad esempio, l'operatore Map ti consente di eseguire un'elaborazione arbitraria, prendendo un elemento da un flusso di dati in entrata e producendo un altro elemento. KeyBy organizza logicamente i dati utilizzando la chiave specificata in modo da poter elaborare assieme punti di dati simili. Aggregations esegue l'elaborazione su più chiavi come somma, min e max. Window Join unisce due flussi di dati su una determinata chiave e finestra. 

Se questi operatori non rispondono alle tue esigenze, puoi crearne di personalizzati. Puoi trovare altri esempi nella sezione Operatori della Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink. Puoi trovare un elenco completo di operatori di Apache Flink nella documentazione di Apache Flink. 

Puoi impostare integrazioni preconfigurate da Apache Flink con un codice minimo o creare la tua integrazione per connetterti virtualmente a qualsiasi origine dati. Le librerie open source basate su Apache Flink supportano origini e destinazioni di flussi di dati, o sink, per elaborare la consegna dei dati. Ciò include anche il supporto per l'arricchimento dei dati tramite connettori di input/output (I/O) asincroni. Alcune di queste sfide includono quanto segue:

• Origini dati dello streaming: Streaming gestito da HAQM per Apache Kafka (HAQM MSK), destinazioni del flusso di dati HAQM Kinesis o sink: flusso di dati HAQM Kinesis
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service e HAQM S3 (tramite integrazioni dei sink di file)

Sì. Puoi usare le applicazioni del servizio gestito da HAQM per Apache Flink per replicare i dati fra i flussi di dati HAQM Kinesis, HAQM MSK e altri sistemi. Un esempio fornito nella nostra documentazione dimostra come leggere da un argomento HAQM MSK e scrivere a un altro.

Puoi aggiungere un'origine o una destinazione alla tua applicazione sfruttando una serie di primitive che ti consentono di leggere e scrivere da file, directory, socket o qualsiasi altra cosa a cui puoi accedere tramite Internet. Apache Flink fornisce queste primitive per fonti dati e sink di dati. Le primitive sono accompagnate da configurazioni come la capacità di leggere e scrivere dati in modo continuo o una volta, in modo asincrono o sincrono e molto altro. Ad esempio, puoi impostare un'applicazione in modo da leggere continuamente da HAQM S3 estendendo l'integrazione dell'origine basata su file esistente.

Le applicazioni Apache Flink nel servizio gestito da HAQM per Apache Flink usano un modello di erogazione di tipo "esattamente una volta" se un'applicazione viene costruita usando operatori idempotenti, incluse origini e sink. Ciò significa che i dati elaborati avranno un impatto sui risultati a valle una sola volta.

Per impostazione predefinita, le applicazioni del servizio gestito da HAQM per Apache Flink usano la semantica "esattamente una volta" di Apache Flink. La tua applicazione supporterà questa semantica di elaborazione se progetti le tue applicazioni usando origini, operatori e sink che utilizzano la semantica "esattamente una volta" di Apache Flink.

Il servizio gestito da HAQM per Apache Flink esegue automaticamente il backup dello stato dell'applicazione in esecuzione utilizzando checkpoint e snapshot. I checkpoint salvano lo stato dell'applicazione corrente e abilitano le applicazioni del servizio gestito da HAQM per Apache Flink per il recupero della posizione dell'applicazione in modo da fornire la stessa semantica di un'esecuzione senza errori. I checkpoint utilizzano lo spazio di archiviazione dell'applicazione in esecuzione. I checkpoint per le applicazioni Apache Flink vengono forniti tramite la funzionalità checkpointing di Apache Flink. Gli snapshot salvano un punto di ripristino point-in-time per le applicazioni e utilizzano backup durevoli delle applicazioni. Gli snapshot sono analoghi ai savepoint Flink.

Per ulteriori informazioni sulle versioni supportate di Apache Flink, visita la pagina delle Note di rilascio del servizio gestito da HAQM per Apache Flink. Questa pagina include anche le versioni degli SDK Apache Beam, Java, Scala, Python e AWS supportate dal servizio gestito da HAQM per Apache Flink. 

Sì, il servizio gestito da HAQM per Apache Flink supporta le applicazioni streaming create con Apache Beam. Puoi creare applicazioni di streaming Apache Beam in Java ed eseguirle in diversi motori e servizi, incluso Apache Flink sul servizio gestito da HAQM per Apache Flink. Puoi trovare informazioni sulle versioni supportate di Apache Flink e Apache Beam nella Guida per gli sviluppatori del servizio gestito da HAQM per Apache Flink. 

Puoi iniziare dalle console del servizio gestito da HAQM per Apache Flink Studio, del flusso di dati HAQM Kinesis o di HAQM MSK e lanciare un notebook serverless con poche operazioni ed eseguire immediatamente query sui flussi di dati e analisi interattive dei dati.

Analisi interattiva dei dati: puoi scrivere codice nel notebook in SQL, Python o Scala per interagire con i tuoi dati in streaming, con tempi di risposta delle query nell'ordine dei secondi. Puoi usare le visualizzazioni incorporate per esplorare i dati e visualizzare approfondimenti in tempo reale sui tuoi dati in streaming dall'interno del notebook e sviluppare facilmente applicazioni di elaborazione di flussi supportate da Apache Flink.

Una volta che il tuo codice è pronto per essere eseguito come applicazione di produzione, puoi passare con una sola operazione a un'applicazione di elaborazione di flussi che elabora gigabyte di dati al secondo, senza l'uso di server.

Applicazione di elaborazione dei flussi: una volta che sei pronto a promuovere il tuo codice alla produzione, puoi crearlo facendo clic su "Implementa come applicazione di elaborazione dei flussi" nell'interfaccia del notebook o emettendo un singolo comando nella CLI. Studio si occupa di tutta la gestione dell'infrastruttura necessaria per eseguire l'applicazione di elaborazione di flussi su larga scala, con dimensionamento automatico e stato durevole abilitati, proprio come in un'applicazione del servizio gestito da HAQM per Apache Flink.

È possibile eseguire operazioni SQL come le seguenti:

• Scansione e filtro (SELECT, WHERE) 
• Aggregazioni (GROUP BY, GROUP BY WINDOW, HAVING) 
• Impostazione (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Ordinamento (ORDER BY, LIMIT) 
• Unioni (INNER, OUTER, Timed Window - BETWEEN e AND, Joining with Temporal Tables, tabelle che tengono traccia delle modifiche nel tempo)
• Top-N
• Deduplicazione
• Riconoscimento dei pattern

Alcune di queste query come GROUP BY, OUTER JOIN, e Top-N sono i risultati in aggiornamento per i dati in streaming, il che significa che i risultati vengono continuamente aggiornati mentre i dati in streaming vengono elaborati. Sono supportate anche altre istruzioni DDL come CREATE, ALTER e DROP. Per un elenco completo di query ed esempi, consulta Query di Apache Flink.

La Table API di Apache Flink supporta Python e Scala attraverso l'integrazione dei linguaggi usando stringhe Python ed espressioni Scala. Le operazioni supportate sono molto simili a quelle di SQL, tra cui seleziona, ordina, raggruppa, unisci, filtra e windowing. L'elenco completo delle operazioni e degli esempi è incluso nella nostra guida per gli sviluppatori.

Per ulteriori informazioni sulle versioni supportate di Apache Flink, visita la pagina delle Note di rilascio del servizio gestito da HAQM per Apache Flink. Questa pagina include anche le versioni degli SDK Apache Zeppelin, Apache Beam, Java, Scala, Python e AWS supportate dal servizio gestito da HAQM per Apache Flink.

• Origini dati: Streaming gestito da HAQM per Apache Kafka (HAQM MSK), flusso di dati HAQM Kinesis, HAQM S3 
• Destinazioni o sink: HAQM MSK, HAQM Kinesis Data Streams e HAQM S3

Hai diritto a un credito di assistenza SLA per il servizio gestito da HAQM per Apache Flink ai sensi dello SLA del per il servizio gestito da HAQM per Apache Flink se più di una zona di disponibilità in cui esegui un'attività, all'interno della stessa Regione AWS, ha una percentuale di uptime mensile inferiore al 99,9% durante qualsiasi ciclo di fatturazione mensile. Per dettagli completi sui termini e le condizioni dello SLA e per indicazioni sulla presentazione di una richiesta, consulta la pagina dei dettagli relativa allo SLA del servizio gestito da HAQM per Apache Flink.