الأسئلة الشائعة حول خدمة HAQM المُدارة لـ Apache Flink

نعم، باستخدام موصلات Apache Flink DataStream، يمكن لخدمة HAQM المُدارة لـ Apache Flink استخدام سجل مخطط AWS Glue، وهي ميزة بلا خادم في AWS Glue. يمكنك دمج تدفقات بيانات Apache Kafka وHAQM MSK وتدفق بيانات HAQM Kinesis، باعتبارها مخزن أو مصدر، مع عبء العمل لخدمة HAQM المُدارة لـ Apache Flink. تفضل بزيارة دليل مطور سجل مخطط AWS Glue للبدء ومعرفة المزيد.

التطبيق هو خدمة HAQM المُدارة لـ Apache Flink للكيان الذي تعمل معه. تقوم خدمة HAQM المُدارة لتطبيقات Apache Flink بقراءة بيانات البث ومعالجتها باستمرار في الوقت الفعلي. يمكنك كتابة كود التطبيق بلغة مدعومة من Apache Flink لمعالجة بيانات البث الواردة وإنتاج المخرجات. بعد ذلك، تقوم خدمة HAQM المُدارة لـ Apache Flink بكتابة المخرجات إلى وجهة تم إعدادها.

يتكون كل تطبيق من ثلاثة مكونات أساسية:

1. الإدخال: الإدخال هو مصدر التدفق لتطبيقك. في تكوين الإدخال، يمكنك تعيين مصادر التدفق إلى تدفقات البيانات. تتدفق البيانات من مصادر البيانات الخاصة بك إلى تدفقات البيانات الخاصة بك. يمكنك معالجة البيانات من تدفقات البيانات هذه باستخدام رمز التطبيق الخاص بك، وإرسال البيانات المعالجة إلى تدفقات البيانات أو الوجهات اللاحقة. يمكنك إضافة مدخلات داخل كود التطبيق لتطبيقات Apache Flink ودفاتر Studio ومن خلال واجهة برمجة التطبيقات لخدمة HAQM المُدارة لـ Apache Flink. 
2. كود التطبيق: كود التطبيق عبارة عن سلسلة من مشغلي Apache Flink التي تعالج المدخلات وتنتج المخرجات. يمكن أن يكون كود التطبيق، في أبسط أشكاله، عبارة عن مشغل Apache Flink واحد يقرأ من تدفق البيانات المرتبط بمصدر البث ويكتب إلى تدفق بيانات آخر مرتبط بالمخرجات. أما دفتر ملاحظات Studio، فيمكن أن يكون هذا استعلامًا بسيطًا لتحديد Flink SQL، مع عرض النتائج في السياق داخل دفتر الملاحظات. يمكنك كتابة كود Apache Flink بلغاته المدعومة لخدمة HAQM المُدارة لـ Apache Flink أو دفاتر ملاحظات Studio.
3. الإخراج : يمكنك بعد ذلك تكوين مخرجات التطبيق اختياريًا للاحتفاظ بالبيانات في وجهة خارجية. يمكنك إضافة هذه المخرجات داخل كود التطبيق لخدمة HAQM المُدارة لـ Apache Flink ودفاتر ملاحظات Studio. 

توفر AWS العديد من الأدوات التي يمكنك استخدامها لمراقبة خدمة HAQM المُدارة لـ Apache Flink بما في ذلك الوصول إلى لوحة معلومات Flink لتطبيقات Apache Flink. يمكنك تهيئة إعدادات بعض هذه الأدوات للقيام بالمراقبة نيابة عنك. لمزيد من المعلومات حول كيفية مراقبة تطبيقك، راجع أدلة المطور التالية: 

• مراقبة خدمة HAQM المُدارة لـ Apache Flink في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink.
• مراقبة خدمة HAQM المُدارة لـ Apache Flink في لدليل مطوري Studio في خدمة HAQM المُدارة لـ Apache Flink.

تحتاج خدمة HAQM المُدارة لـ Apache Flink إلى أذونات لقراءة السجلات من مصادر بيانات البث التي تحددها في تطبيقك. تحتاج خدمة HAQM المُدارة لـ Apache Flink أيضًا إلى أذونات لكتابة مخرجات التطبيق إلى وجهات محددة في إعدادات مخرجات تطبيقك. يمكنك منح هذه الأذونات من خلال إنشاء أدوار AWS لإدارة الهوية والوصول (IAM) التي يمكن أن تتولاها خدمة HAQM المُدارة لـ Apache Flink. تحدد الأذونات التي تمنحها لهذا الدور ما يمكن أن تفعله خدمة HAQM المُدارة لـ Apache Flink عندما تتولى الخدمة الدور. لمزيد من المعلومات، راجع دليل مطوّري AWS WAF:

• منح الأذونات في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink.
• منح الأذونات في دليل مطوري Studio في خدمة HAQM المُدارة لـ Apache Flink.

تعمل خدمة HAQM المُدارة لـ Apache Flink على توسيع نطاق تطبيقك بشكل مرن لاستيعاب معدل نقل البيانات لتدفق المصدر وتعقيد الاستعلام الخاص بك لمعظم السيناريوهات. توفر خدمة HAQM المُدارة لـ Apache Flink السعة في شكل وحدات KPU من HAQM. توفر لك وحدة KPU الواحدة وحدة vCPU وذاكرة 4 جيجابايت. 

بالنسبة لتطبيقات Apache Flink ودفاتر ملاحظات Studio، تقوم خدمة HAQM المُدارة لـ Apache Flink بتخصيص 50 جيجابايت من مساحة تخزين التطبيقات قيد التشغيل لكل وحدة KPU يستخدمها تطبيقك لنقاط المراقبة وهي متاحة لك لاستخدامها من خلال القرص المؤقت. نقطة المراقبة هي نسخة احتياطية محدثة من تطبيق قيد التشغيل تُستخدم للتعافي فورًا من تعطل التطبيق. يمكنك أيضًا التحكم في التنفيذ الموازي لخدمة HAQM المُدارة لـ Apache Flink (مثل القراءة من مصدر أو تنفيذ عامل تشغيل) باستخدام معلمات Parallelism و ParallelismPerKPU في واجهة برمجة التطبيقات. يحدد التوازي عدد المثيلات المتزامنة للمهمة. تعمل جميع العوامل والمصادر والمخازن بتوازي محدد افتراضيًا. يحدد التوازي لكل KPU مقدار عدد المهام المتوازية التي يمكن جدولتها لكل KPU لتطبيقك افتراضيًا. لمزيد من المعلومات، راجع التحجيم في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink. 

للحصول على معلومات حول أفضل الممارسات لـ Apache Flink، راجع قسم أفضل الممارسات في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink. يتناول القسم أفضل الممارسات لتحمل الأخطاء والأداء والتسجيل والترميز والمزيد. 

للحصول على معلومات حول أفضل الممارسات لخدمة HAQM المُدارة لـ Apache Flink Studio، راجع قسم أفضل الممارسات في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink Studio. بالإضافة إلى أفضل الممارسات، يتناول هذا القسم عينات من تطبيقات SQL و Python و Scala ومتطلبات نشر تعليماتك البرمجية باعتباره تطبيق معالجة التدفق المستمر والأداء والتسجيل والمزيد.

نعم. يمكنك الوصول إلى الموارد الموجودة خلف HAQM VPC. يمكنك معرفة كيفية تهيئة إعدادات تطبيقك للوصول إلى VPC في قسم استخدام HAQM VPC من دليل مطوري خدمة HAQM المُدارة لـ Apache Flink.

لا تتمتع لتطبيقات خدمة HAQM المُدارة لـ Apache Flink ودفاتر ملاحظات Studio لخدمة HAQM المُدارة لـ Apache Flink التي تم تهيئة إعداداتها للوصول إلى الموارد في VPC معين بإمكانية الوصول إلى الإنترنت باعتبارها إعدادات افتراضية. يمكنك معرفة كيفية تهيئة إعدادات الوصول إلى الإنترنت لتطبيقك في قسم الوصول إلى الإنترنت والخدمة من دليل مطوري خدمة HAQM المُدارة لـ Apache Flink.

مع خدمة HAQM المُدارة لـ Apache Flink، تدفع فقط مقابل ما تستخدمه. لا تتوافر موارد لكي يتم توفيرها أو تكاليف يتم دفعها مقدمًا فيما يتعلق بخدمة HAQM المُدارة لـ Apache Flink . 

تُحصل منك رسوم بالساعة بناءً على عدد وحدات HAQM KPUs المستخدمة لتشغيل تطبيق البث الخاص بك. وحدة KPU الواحدة عبارة عن وحدة لسعة معالجة التدفق تتكون من وحدة vCPU واحدة للحوسبة و4 جيجابايت من الذاكرة. تقوم خدمة HAQM المُدارة لـ Apache Flink بتحجيم عدد وحدات KPU اللازمة من خلال تطبيق معالجة التدفق لديك حيث إن متطلبات الذاكرة والحوسبة تختلف استجابةً لتعقيد المعالجة ومخرجات بيانات البث التي تتم معالجتها. 

بالنسبة لتطبيقي Apache Flink وApache Beam، تدفع رسوم وحدة KPU واحدة إضافية لكل تطبيق من أجل التكوين والتنسيق والإدارة المؤتمتة للتطبيقات. كما تُفرض تكلفة على تطبيقي Apache Flink وApache Beam لإدارة تخزين التطبيقات وعمليات النسخ الاحتياطي الدائمة للتطبيقات. يُستخدم تخزين التطبيقات قيد التشغيل لإمكانات معالجة الحالة في خدمة HAQM المُدارة لـ Apache Flink، ويتم دفع التكلفة بالجيجابايت في الشهر. عمليات النسخ الاحتياطي الدائمة للتطبيقات اختيارية، ويتم احتساب تكلفتها بالجيجابايت في الشهر، وتوفر نقطة لاسترجاع التطبيقات في وقت محدد. 

بالنسبة لخدمة HAQM المُدارة لـ Apache Flink Studio، في وضع التطوير أو الوضع التفاعلي، ستتم محاسبتك على وحدة KPU إضافية للتكوين والتنسيق والإدارة المؤتمتة للتطبيقات ووحدة KPU واحدة للتطوير التفاعلي. يتم محاسبتك أيضًا على تشغيل تخزين التطبيقات. لا يتم محاسبتك على النسخ الاحتياطية الدائمة للتطبيق.

لمزيد من معلومات التسعير، راجع صفحة تسعير خدمة HAQM المُدارة لـ Apache Flink.

بالنسبة لتطبيقات Apache Flink و Apache Beam، يتم تحصيل رسوم لا تقل عن 2 وحدة KPU ومساحة تخزين للتطبيقات قيد التشغيل تبلغ 50 جيجابايت إذا كانت خدمة HAQM المُدارة لـ Apache Flink قيد التشغيل.

بالنسبة لدفاتر ملاحظات Studio لخدمة HAQM المُدارة لـ Apache Flink، يتم تحصيل ما لا يقل عن 3 وحدات KPU و 50 جيجابايت من مساحة تخزين التطبيقات قيد التشغيل إذا كان تطبيقك قيد التشغيل.

Apache Flink هو إطار ومحرك مفتوح المصدر لمعالجة البيانات المتدفقة والدفعات. إنه يسهل إنشاء تطبيقات البث لأنه يوفر مشغلات قوية ويحل مشكلات البث الأساسية مثل المعالجة المكررة. يوفر Apache Flink توزيع البيانات والاتصال وتحمل الأخطاء للحسابات الموزعة عبر تدفقات البيانات.

يمكنك البدء بتنزيل المكتبات المفتوحة المصدر، بما في ذلك AWS SDK، وApache Flink، والموصلات لخدمات AWS. احصل على إرشادات حول كيفية تنزيل المكتبات وإنشاء تطبيقك الأول في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink.

تكتب تعليمات برمجية لتطبيق Apache Flink الخاص بك باستخدام تدفقات البيانات ومشغلي التدفق. تدفقات بيانات التطبيق هي بنية البيانات التي تعالجها باستخدام رمز التطبيق الخاص بك. تتدفق البيانات باستمرار من المصادر إلى تدفقات بيانات التطبيق. يتم استخدام عامل بث واحد أو أكثر لتعريف المعالجة الخاصة بك على تدفقات بيانات التطبيق، بما في ذلك التحويل والتقسيم والتجميع والانضمام والنافذة. يمكن توصيل تدفقات البيانات والمشغلين في سلاسل تسلسلية ومتوازية. يتم عرض مثال قصير باستخدام رمز زائف أدناه.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

يأخذ المشغلون تدفق بيانات التطبيق باعتباره مدخلات ويرسلون البيانات المعالجة إلى تدفق بيانات التطبيق في شكل مخرجات. يمكن توصيل المشغلين لإنشاء تطبيقات بخطوات متعددة ولا يحتاجون إلى معرفة متقدمة بالأنظمة الموزعة للتنفيذ والتشغيل.

تدعم خدمة HAQM المُدارة لـ Apache Flink جميع المشغلين من Apache Flink الذين يمكن استخدامهم لحل مجموعة متنوعة من حالات الاستخدام بما في ذلك الخريطة و KeyBy والتجميعات والنوافذ والانضمام وغيرها المزيد. على سبيل المثال، يسمح لك مشغل الخريطة بإجراء معالجة عشوائية، مع أخذ عنصر واحد من تدفق بيانات وارد وإنتاج عنصر آخر. يقوم KeyBy بتنظيم البيانات منطقيًا باستخدام مفتاح محدد بحيث يمكنك معالجة نقاط البيانات المتشابهة معًا. تقوم التجميعات بالمعالجة عبر مفاتيح متعددة مثل المجموع والحد الأدنى والحد الأقصى. ينضم Window Join إلى تدفقين للبيانات معًا على مفتاح ونافذة معينين. 

يمكنك إنشاء عوامل تشغيل مخصصة إذا كانت هذه المشغلات لا تلبي احتياجاتك. ابحث عن المزيد من الأمثلة في قسم المشغلين في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink. يمكنك العثور على قائمة كاملة لمشغلي Apache Flink في وثائق Apache Flink. 

يمكنك إعداد عمليات تكامل تم إنشاؤها مسبقًا مقدمة من Apache Flink مع الحد الأدنى من التعليمات البرمجية أو إنشاء التكامل الخاص بك للاتصال بأي مصدر بيانات تقريبًا. تدعم المكتبات مفتوحة المصدر القائمة على Apache Flink مصادر البث والوجهات، أو المخازن، لمعالجة تسليم البيانات. يتضمن هذا أيضًا دعم إثراء البيانات من خلال موصلات الإدخال/الإخراج غير المتزامنة. تتضمن بعض هذه الموصلات ما يلي:

• مصادر بيانات البث: HAQM Managed Streaming for Apache Kafka (HAQM MSK) أو وجهات تدفق بيانات HAQM Kinesis أو المخازن: تدفقات بيانات HAQM Kinesis
• HAQM Kinesis Data Firehose وHAQM DynamoDB وخدمة HAQM Elasticsearch وHAQM S3 (من خلال عمليات دمج مخزن الملفات)

نعم. يمكنك استخدام تطبيقات خدمة HAQM المُدارة لـ Apache Flink لتكرار البيانات بين تدفقات بيانات HAQM Kinesis وHAQM MSK والأنظمة الأخرى. يوضح المثال المقدم في وثائقنا كيفية القراءة من أحد موضوعات HAQM MSK والكتابة إلى موضوع آخر.

يمكنك إضافة مصدر أو وجهة إلى تطبيقك من خلال البناء على مجموعة من العناصر الأولية التي تمكنك من القراءة والكتابة من الملفات أو الأدلة أو المنافذ أو أي شيء يمكنك الوصول إليه عبر الإنترنت. يوفر Apache Flink هذه العناصر الأولية لمصادر البيانات ومخازن البيانات. تأتي العناصر الأولية مع إعدادات مثل القدرة على قراءة البيانات وكتابتها بشكل مستمر أو مرة واحدة، بشكل غير متزامن أو متزامن، وأكثر من ذلك بكثير. على سبيل المثال، يمكنك إعداد تطبيق للقراءة باستمرار من HAQM S3 من خلال توسيع تكامل المصدر الحالي المستند إلى الملفات.

تستخدم تطبيقات Apache Flink في خدمة HAQM المُدارة لـ Apache Flink نموذج التسليم مرة واحدة بالضبط إذا تم إنشاء تطبيق باستخدام عوامل تشغيل ضعيفة، بما في ذلك المصادر والمخازن. هذا يعني أن البيانات المعالجة تؤثر على النتائج النهائية مرة واحدة ومرة واحدة فقط.

افتراضيًا، تستخدم تطبيقات خدمة HAQM المُدارة لـ Apache Flink دلالات Apache Flink مرة واحدة بالضبط. يدعم تطبيقك دلالات المعالجة مرة واحدة بالضبط إذا قمت بتصميم تطبيقاتك باستخدام المصادر والمشغلين والمخازن التي تستخدم دلالات Apache Flink لمرة واحدة بالضبط.

تقوم خدمة HAQM المُدارة لـ Apache Flink تلقائيًا بعمل نسخة احتياطية من حالة التطبيق قيد التشغيل باستخدام نقاط المراقبة واللقطات. تقوم نقاط المراقبة بحفظ حالة التطبيق الحالية وتمكين خدمة HAQM المُدارة لـ Apache Flink لتطبيقات Apache Flink من استعادة موضع التطبيق لتوفير نفس الدلالات مثل التنفيذ الخالي من الفشل. تستخدم نقاط المراقبة تخزين التطبيقات قيد التشغيل. يتم توفير نقاط المراقبة لتطبيقات Apache Flink من خلال وظيفة التدقيق في Apache Flink. تحفظ اللقطات نقطة استرداد في الوقت المناسب للتطبيقات وتستخدم النسخ الاحتياطية الدائمة للتطبيقات. اللقطات مماثلة لنقاط حفظ Flink.

لمعرفة المزيد حول إصدارات Apache Flink المدعومة، تفضل بزيارة صفحة ملاحظات إصدار خدمة HAQM المُدارة لـ Apache Flink. تتضمن هذه الصفحة أيضًا إصدارات حزم تطوير البرامج الخاصة بـ Apache Beam وJava وScala وPython وAWS التي تدعمها خدمة HAQM المُدارة لـ Apache Flink. 

نعم، تدعم خدمة HAQM المُدارة لـ Apache Flink تطبيقات البث التي تم إنشاؤها باستخدام Apache Beam. يمكنك إنشاء تطبيقات بث Apache Beam في Java وتشغيلها في محركات وخدمات مختلفة بما في ذلك استخدام Apache Flink على خدمة HAQM المُدارة لـ Apache Flink. يمكنك العثور على معلومات تتعلق بإصدارات Apache Flink و Apache Beam المدعومة في دليل مطوري خدمة HAQM المُدارة لـ Apache Flink. 

يمكنك البدء من خدمة HAQM المُدارة لـ Apache Flink Studio أو تدفق بيانات HAQM Kinesis أو وحدات تحكم HAQM MSK في بضع خطوات لإطلاق دفتر ملاحظات بلا خادم للاستعلام الفوري عن تدفقات البيانات وإجراء تحليلات البيانات التفاعلية.

تحليلات البيانات التفاعلية: يمكنك كتابة التعليمات البرمجية في دفتر الملاحظات بلغات SQL أو Python أو Scala للتفاعل مع بيانات البث الخاصة بك، مع انخفاض أوقات الرد على الاستفسارات إلى ثوانٍ. يمكنك استخدام تصورات مدمجة لاستكشاف البيانات وعرض الرؤى في الوقت الفعلي حول بيانات البث الخاصة بك من داخل دفتر ملاحظاتك وتطوير تطبيقات معالجة البث المدعومة من Apache Flink.

بمجرد أن تصبح التعليمات البرمجية جاهزة للتشغيل في شكل تطبيق إنتاج، يمكنك الانتقال بخطوة واحدة إلى تطبيق معالجة البث الذي يعالج بيانات بالجيجابايت في الثانية، بدون خوادم.

تطبيق معالجة البث: بمجرد أن تصبح جاهزًا لترقية تعليماتك البرمجية إلى الإنتاج، يمكنك إنشاء تعليماتك البرمجية عن طريق النقر فوق «النشر كتطبيق لمعالجة البث» في واجهة دفتر الملاحظات أو إصدار أمر واحد في CLI. يعتني Studio بجميع جوانب إدارة البنية التحتية اللازمة لتشغيل تطبيق معالجة البث الخاص بك على نطاق واسع، مع تمكين التحجيم التلقائي والحالة الدائمة، تمامًا كما هو الحال في خدمة HAQM المُدارة لـ Apache Flink.

يمكنك تنفيذ عمليات SQL التالية:

• المسح والتصفية (SELECT, WHERE) 
• التجميعات (GROUP BY, GROUP BY WINDOW, HAVING) 
• المجموعة (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• الترتيب (ORDER BY, LIMIT) 
• الصلات (INNER, OUTER، الإطار الزمني - BETWEEN, AND، الانضمام بالجداول الزمنية - الجداول التي تتعقب التغييرات بمرور الوقت)
• Top-N
• إلغاء تكرار البيانات
• التعرف على الأنماط

بعض هذه الاستعلامات، مثل GROUP BY و OUTER JOIN و Top-N، هي نتائج يتم تحديثها لبيانات البث، مما يعني أن النتائج تُحدث باستمرار أثناء معالجة بيانات البث. يتم أيضًا دعم عبارات DDL الأخرى، مثل CREATE و ALTER و DROP. للحصول على قائمة كاملة بالاستعلامات والنماذج، راجع وثائق Apache Flink Queries.

تدعم واجهة برمجة تطبيقات جدول Apache Flink Python و Scala من خلال تكامل اللغة باستخدام سلاسل Python وتعبيرات Scala. تتشابه العمليات المدعومة إلى حد كبير مع عمليات SQL المدعومة، بما في ذلك التحديد والترتيب والتجميع والانضمام والتصفية ووضع النوافذ. يتم تضمين قائمة كاملة بالعمليات والعينات في دليل المطور الخاص بنا.

لمعرفة المزيد حول إصدارات Apache Flink المدعومة، تفضل بزيارة صفحة ملاحظات إصدار خدمة HAQM المُدارة لـ Apache Flink. تتضمن هذه الصفحة أيضًا إصدارات حزم تطوير البرامج الخاصة بـ Apache Zeppelin وApache Beam وJava وScala وPython وAWS التي تدعمها خدمة HAQM المُدارة لـ Apache Flink.

• مصادر البيانات: HAQM Managed Streaming for Apache Kafka (HAQM MSK)، تدفقات بيانات HAQM Kinesis، HAQM S3 
• الوجهات أو المخازن: HAQM MSK، تدفق بيانات HAQM Kinesis، وHAQM S3

أنت مؤهل للحصول على رصيد خدمة SLA لخدمة HAQM المُدارة لـ Apache Flink ضمن اتفاقية مستوى الخدمة لخدمة HAQM المُدارة لـ Apache Flink SLA إذا كانت نسبة وقت التشغيل الشهري في أكثر من منطقة توافر واحدة تقوم بتشغيل مهمة فيها، داخل نفس منطقة AWS، أقل من 99.9% خلال أي دورة فواتير شهرية. للحصول على تفاصيل كاملة حول جميع شروط وأحكام اتفاقية مستوى الخدمة بالإضافة إلى تفاصيل حول كيفية تقديم مطالبة، تفضل بزيارة صفحة تفاصيل خدمة HAQM المُدارة لـ Apache Flink SLA.