Часто задаваемые вопросы об Управляемом сервисе HAQM для Apache Flink

Да. С помощью соединителей Apache Flink DataStream приложения Управляемого сервиса HAQM для Apache Flink могут использовать реестр схем AWS Glue – бессерверную функцию AWS Glue. Вы можете интегрировать Apache Kafka, HAQM MSK и Потоки данных HAQM Kinesis в качестве приемника или источника с рабочими нагрузками Управляемого сервиса HAQM для Apache Flink. Чтобы начать работу и узнать больше, ознакомьтесь с Руководством разработчика реестра схем AWS Glue.

Приложение — это объект Управляемого сервиса HAQM для Apache Flink, с которым вы работаете. Приложение Управляемого сервиса HAQM для Apache Flink непрерывно считывает и обрабатывает потоковые данные в реальном времени. Используя язык, поддерживаемый Apache Flink, можно создать код приложения для обработки входящих потоковых данных и получения результатов. Затем Управляемый сервис HAQM для Apache Flink записывает выходные данные в настроенные целевые объекты.

Каждое приложение состоит из трех основных компонентов.

1. Входящие данные – источник потоковых данных для приложения. В конфигурации входящих данных сопоставляются источники потоковой передачи с потоками данных. Данные поступают из ваших источников данных в ваши потоки данных. Данные из этих потоков обрабатываются с помощью программного кода, а обработанные данные передаются в последующие потоки данных или в целевые объекты. Добавление входящих данных происходит в коде для приложений Apache Flink и блокнотов Студии, а также с помощью интерфейса API Управляемого сервиса HAQM для приложений Apache Flink. 
2. Код приложения – последовательность операторов Apache Flink, которые обрабатывают входящие данные и формируют исходящие. В простейшем виде код приложения может состоять из одного оператора Apache Flink, который считывает данные из потока, связанного с источником потоковой передачи, и записывает в другой поток, связанный с исходящими данными. Для блокнота Студии это может быть простой запрос SQL SELECT в Flink, результаты которого отобразятся в контексте внутри блокнота. Код Apache Flink можно писать на поддерживаемых языках для приложений Управляемого сервиса HAQM для Apache Flink или блокнотов Студии.
3. После этого можно дополнительно настроить выходные данные приложения для их сохранения во внешнем целевом объекте. Добавление исходящих данных происходит в коде приложения для Управляемого сервиса HAQM для Apache Flink и блокнотов Студии. 

AWS предоставляет различные инструменты, которые можно использовать для наблюдения за приложениями Управляемого сервиса HAQM для Apache Flink, включая доступ к Flink Dashboard для приложений Apache Flink. Некоторые из этих инструментов можно настроить так, чтобы они осуществляли наблюдение автоматически. Дополнительные сведения о наблюдении за приложениями приведены в следующих руководствах для разработчиков: 

• Наблюдение за Управляемым сервисом HAQM для Apache Flink в руководстве для разработчиков по Управляемому сервису HAQM для Apache Flink;
• Наблюдение за Управляемым сервисом HAQM для Apache Flink в руководстве для разработчиков по Управляемому сервису HAQM для Студии Apache Flink.

Управляемому сервису HAQM для Apache Flink требуются разрешения на чтение записей из потоковых источников данных, определенных для приложения. Кроме того, Управляемому сервису HAQM для Apache Flink необходимы разрешения на запись исходящих данных приложения в целевые объекты, указанные в настройках исходящих данных приложения. Эти разрешения предоставляются путем создания ролей Управления идентификацией и доступом AWS (IAM), которые может принять Управляемый сервис HAQM для Apache Flink. Разрешения, которые предоставлены для конкретной роли, определяют, что именно Управляемый сервис HAQM для Apache Flink может делать, когда он принимает эту роль. Дополнительные сведения приведены в следующих руководствах для разработчиков:

• Предоставление разрешений в руководстве для разработчиков по Управляемому сервису HAQM для Apache Flink;
• Предоставление разрешений в руководстве для разработчиков по Управляемому сервису HAQM для Студии Apache Flink.

Управляемый сервис HAQM для Apache Flink эластично масштабирует приложение, чтобы его ресурсы соответствовали скорости поступления данных потока‑источника и уровню сложности запросов для большинства сценариев. Управляемый сервис HAQM для Apache Flink выделяет ресурсы в виде KPU HAQM. Один KPU предоставляет 1 виртуальный ЦП и 4 ГБ памяти. 

Для приложений Apache Flink и блокнотов Студии Управляемый сервис HAQM для Apache Flink выделяет 50 ГБ хранилища на каждый KPU работающего приложения. Это хранилище используется приложением для создания контрольных точек, при этом доступ к нему можно получить с помощью временного диска. Контрольная точка представляет собой актуальную резервную копию работающего приложения, с помощью которой выполняется немедленное восстановление в случае сбоя приложения. Контролировать параллельное выполнение задач приложения Управляемого сервиса HAQM для Apache Flink (таких как чтение из источника данных или выполнение оператора) также можно с помощью параметров Parallelism и ParallelismPerKPU в API. Параметр Parallelism определяет число одновременно работающих инстансов задачи. У всех работающих операторов, источников и получателей данных параметр Parallelism по умолчанию имеет значение «один». Параметр ParallelismPerKPU определяет число параллельных задач, которые могут быть запланированы для каждого KPU того или иного приложения; значение по умолчанию равно «один». Дополнительные сведения приведены в разделе «Масштабирование» руководства для разработчиков по Управляемому сервису HAQM для Apache Flink. 

Дополнительные сведения и рекомендации по Apache Flink приведены в разделе Рекомендации руководства для разработчиков по Управляемому сервису HAQM для Apache Flink. В этом разделе приведены рекомендации по повышению отказоустойчивости и производительности, ведению журналов, написанию кода и многое другое. 

Дополнительные сведения и рекомендации по Управляемому сервису HAQM для Студии Apache Flink приведены в разделе «Рекомендации» руководства разработчиков по Управляемому сервису HAQM для Студии Apache Flink. Помимо рекомендаций, в этом разделе рассматриваются примеры приложений SQL, Python и Scala, требования к развертыванию кода непрерывно работающего приложения потоковой обработки, производительность, ведение журнала и многое другое.

Да. Вы можете получить доступ к ресурсам за пределами облака HAQM VPC. Сведения о настройке доступа к VPC для приложения приведены в разделе Использование HAQM VPC руководства для разработчиков по Управляемому сервису HAQM для Apache Flink.

Приложения Управляемого сервиса HAQM для Apache Flink и блокноты Управляемого сервиса HAQM для Студии Apache Flink, настроенные на доступ к ресурсам в конкретном облаке VPC, по умолчанию не имеют доступа к Интернету. Сведения о настройке доступа к Интернету для приложения приведены в разделе Доступ к Интернету и сервисам руководства для разработчиков по Управляемому сервису HAQM для Apache Flink.

При использовании Управляемого сервиса HAQM для Apache Flink вы платите только за то, что используете. При использовании Управляемого сервиса HAQM для Apache Flink не требуется выделять ресурсы или вносить авансовые платежи. 

Оплата начисляется на почасовой основе, исходя из числа HAQM KPU, использованных при работе приложения потоковой передачи. KPU представляет собой единицу ресурса потоковой обработки, которая включает 1 виртуальный ЦП и 4 ГБ оперативной памяти. Управляемый сервис HAQM для Apache Flink автоматически масштабирует количество KPU, необходимых приложению для обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности в зависимости от сложности обработки и скорости обработки потоковых данных. 

При оркестрации приложений Apache Flink и Apache Beam взимается дополнительная плата за единицу KPU на каждое приложение. При использовании приложений Apache Flink и Apache Beam также взимается плата за хранилище запущенного приложения и за надежные резервные копии приложения. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Управляемом сервисе HAQM для Apache Flink и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий приложений (с оплатой по количеству использованных гигабайтов в месяц) предоставляется в качестве дополнительной возможности и позволяет выполнять восстановление на момент времени. 

В Управляемом сервисе HAQM для Apache Flink в режиме разработки или в интерактивном режиме начисляется плата за один дополнительный KPU оркестрации приложений и один KPU интерактивной разработки. Также взимается плата за работу хранилища приложений. Плата за надежные резервные копии приложений не взимается.

Дополнительные сведения о ценах приведены на странице цен Управляемого сервиса HAQM для Apache Flink.

Для работающих приложений Apache Flink и Apache Beam в Управляемом сервисе HAQM для Apache Flink плата начисляется минимум за 2 KPU и 50 ГБ хранилища приложений.

Для блокнотов Управляемого сервиса HAQM для Студии Apache Flink плата начисляется минимум за 3 KPU и 50 ГБ хранилища приложений.

Apache Flink – это платформа с открытым исходным кодом и сервис потоковой и пакетной обработки данных. Эта платформа упрощает создание приложений потоковой передачи, поскольку предоставляет мощные операторы и решает основные проблемы потоковой передачи, такие как обработка дубликатов. Apache Flink обеспечивает распределение данных, обмен данными и отказоустойчивость для выполнения распределенных вычислений над потокам данных.

Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS. Инструкции по загрузке библиотек и созданию первого приложения приведены в руководстве для разработчиков по Управляемому сервису HAQM для Apache Flink.

В коде Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структура данных, обработка которых выполняется с помощью кода. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения, включающей преобразование, разделение, объединение, присоединение и определение интервала, используется один или несколько операторов потока. Потоки данных и операторы могут быть соединены в последовательные и параллельные цепочки. Небольшой пример использования псевдокода показан ниже.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Операторы принимают поток данных приложения в качестве входных данных и отправляют обработанные данные в поток данных приложения в качестве выходных данных. Операторы можно соединять для создания приложений с несколькими этапами обработки, при этом для их внедрения и работы не требуются глубокие знания распределенных систем.

Управляемый сервис HAQM для Apache Flink поддерживает все операторы Apache Flink, которые можно использовать для решения самых разных задач, включая сопоставление, KeyBy, агрегации, окна, соединения и многое другое. Например, оператор сопоставления позволяет выполнять произвольную обработку, беря один элемент из входящего потока данных и создавая другой элемент. Оператор KeyBy логически упорядочивает данные, используя заданный ключ, позволяющий обрабатывать одинаковые точки данных вместе. Агрегирование выполняет обработку по нескольким ключам, таким как сумма, мин. и макс. Оператор Window Join объединяет два потока данных по заданному ключу и интервалу. 

Если этих операторов недостаточно для приложения, можно создать собственные операторы. Другие примеры можно найти в разделе «Операторы» руководства разработчиков по Управляемому сервису HAQM для Apache Flink. Полный список операторов Apache Flink можно найти в документации по Apache Flink. 

Можно настроить встроенные возможности интеграции, предоставляемые Apache Flink, с минимальными требованиями к коду или создать собственную интеграцию для подключения практически к любому источнику данных. Библиотеки с открытым исходным кодом на основе Apache Flink поддерживают потоковые источники и целевые объекты (получатели) для выполнения доставки данных. Это также подразумевает поддержку дополнения данных через асинхронные соединители ввода-вывода. Среди соединителей выделим приведенные ниже.

• Источники потоковых данных: Управляемая потоковая передача HAQM для Apache Kafka (HAQM MSK), Потоки данных HAQM Kinesis. Целевые объекты или получатели данных: Потоки данных HAQM Kinesis,
• Данные HAQM Kinesis Firehose, HAQM DynamoDB, HAQM Elasticsearch Service и HAQM S3 (посредством интеграции файловых получателей данных).

Да. Приложения Управляемого сервиса HAQM для Apache Flink можно использовать для репликации данных между Потоками данных HAQM Kinesis, HAQM MSK и другими системами. В примере, приведенном в документации, продемонстрировано, как читать данные из одной темы HAQM MSK и записывать в другую.

Добавить источник или целевой объект в свое приложение можно с помощью набора примитивов, позволяющих осуществлять чтение из файлов, каталогов, сокетов и прочих источников, к которым можно получить доступ через Интернет, а также запись в них. Apache Flink предоставляет такие примитивы для источников данных и получателей данных. Примитивы поставляются с конфигурациями, которые позволяют осуществлять непрерывное или однократное чтение и запись данных в асинхронном или синхронном режиме, а также многое другое. Например, можно настроить приложение для непрерывного чтения данных из HAQM S3, расширив существующую интеграцию с источником на основе файлов.

Приложения Управляемого сервиса HAQM для Apache Flink используют модель доставки «строго однократно», если приложение построено с использованием идемпотентных операторов, включая операторы источников и получателей данных. Это означает, что обработанные данные оказывают влияние на последующие результаты один и только один раз.

По умолчанию приложения Управляемого сервиса HAQM для Apache Flink использует семантику Apache Flink «строго однократно». Приложение поддерживает семантику обработки «строго однократно», если это приложение создано с использованием источников, операторов и получателей данных, использующих семантику Apache Flink «строго однократно».

Управляемый сервис HAQM для Apache Flink автоматически создает резервную копию состояния работающего приложения с помощью контрольных точек и снимков состояния. Контрольные точки сохраняют текущее состояние и позволяют приложениям Управляемого сервиса HAQM для Apache Flink восстанавливать его для обеспечения той же семантики, что и при бесперебойном выполнении. Контрольные точки используют хранилище работающего приложения. Контрольные точки для приложений Apache Flink предоставляются с использованием функциональных возможностей создания контрольных точек Apache Flink. Снимки состояния сохраняют точку восстановления приложений на определенный момент времени и используют надежные резервные копии приложений. Снимки состояния аналогичны точкам сохранения Flink.

Подробные сведения о поддерживаемых версиях Apache Flink можно узнать на странице примечаний к выпуску Управляемого сервиса HAQM для Apache Flink. На этой странице также указаны версии Apache Beam, Java, Scala, Python и SDK AWS, которые поддерживает Управляемый сервис HAQM для Apache Flink. 

Да, Управляемый сервис HAQM для Apache Flink поддерживает приложения для потоковой передачи, созданные с использованием Apache Beam. Вы можете создавать потоковые приложения Apache Beam на Java и запускать их на различных механизмах и сервисах, включая использование Apache Flink с помощью Управляемого сервиса HAQM для Apache Flink. Информацию о поддерживаемых версиях Apache Flink и Apache Beam можно найти в руководстве для разработчиков по Управляемому сервису HAQM для Apache Flink. 

Вы можете начать с Управляемого сервиса HAQM для Студии Apache Flink, Потоков данных HAQM Kinesis или консолей HAQM MSK и за несколько шагов запустить бессерверный блокнот для мгновенного запроса потоков данных и выполнения интерактивной аналитики данных.

Интерактивная аналитика данных. Вы можете написать код в блокноте на SQL, Python или Scala, чтобы взаимодействовать с потоковыми данными и получать ответ на запрос в течение нескольких секунд. Вы можете использовать встроенные визуализации для изучения данных, просмотра аналитических выводов о потоках в режиме реального времени непосредственно в своем блокноте, а также легко разрабатывать приложения для обработки потоков на базе Apache Flink.

Как только ваш код будет готов к запуску в виде рабочего приложения, вы можете за один шаг перейти к приложению потоковой обработки, обрабатывающему гигабайты данных в секунду без использования серверов.

Приложение для потоковой обработки. Когда вы будете готовы запустить свой код в рабочей среде, вы можете создать свой код, нажав «Развернуть как приложение для потоковой обработки» в интерфейсе блокнота или выполнив одну команду в интерфейсе командной строки. Студия берет на себя управление всей инфраструктурой, необходимой для запуска приложения потоковой обработки в большом масштабе с автомасштабированием и включенным режимом надежного состояния, как и в приложении Управляемого сервиса HAQM для Apache Flink.

Можно выполнять следующие операции SQL:

• Сканирование и фильтрация (SELECT, WHERE) 
• Агрегирование (GROUP BY, GROUP BY WINDOW, HAVING) 
• Набор (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Порядок (ORDER BY, LIMIT) 
• Объединение (INNER, OUTER, временное окно — BETWEEN и AND, объединение с временными таблицами — таблицы, отслеживающими изменения во времени)
• Top-N
• Дедупликация
• Распознавание образов

Некоторые из этих запросов, например, GROUP BY, OUTER JOIN и Top-N, обновляют результаты для потоковых данных, а значит результаты постоянно обновляются по мере обработки потоковых данных. Также поддерживаются другие операторы DDL, такие как CREATE, ALTER и DROP. Полный список запросов и примеров приведён в документации по запросам Apache Flink.

API таблицы Apache Flink поддерживает Python и Scala посредством языковой интеграции с использованием строк Python и выражений Scala. Поддерживаемые операции похожи на аналогичные операции SQL, включая выбор, порядок, группировку, объединение, фильтрацию и создание окон. Полный список операций и примеры приведены в документации для разработчиков.

Подробные сведения о поддерживаемых версиях Apache Flink можно узнать на странице примечаний к выпуску Управляемого сервиса HAQM для Apache Flink. На этой странице также представлены версии Apache Zeppelin, Apache Beam, Java, Scala, Python и AWS SDK, поддерживаемые Управляемым сервисом HAQM для Apache Flink.

• Источники данных: Управляемая потоковая передача HAQM для Apache Kafka (HAQM MSK), Потоки данных HAQM Kinesis, HAQM S3 
• Целевые объекты или получатели: HAQM MSK, HAQM Kinesis Data Streams и HAQM S3

Компенсация по соглашению об уровне обслуживания Управляемого сервиса HAQM для Apache Flink по условиям соглашения об уровне обслуживания в отношении Управляемого сервиса HAQM для Apache Flink предоставляется, если бесперебойная ежемесячная работа сервиса в рамках одного региона AWS в нескольких зонах доступности, в которых запущено задание, составила менее 99,9 % в течение любого оплачиваемого месяца. С условиями и положениями соглашения об уровне обслуживания, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице сведений об Управляемом сервисе HAQM для Apache Flink.