تُعد عمليات التكامل من الوسائل الأساسية في تقليل التكاليف التشغيلية، لأنك تستخدم عمليات تكامل مضمنة. قد يمثل استيعاب البيانات إلى Elasticsearch أو OpenSearch تحديًا لأنه يتضمن عددًا من الخطوات، من بينها جمع البيانات وتحويلها وتخطيطها وتحميلها من مصادر بيانات مختلفة إلى فهرس Elasticsearch أو فهرس OpenSearch. عليك تحويل البيانات الخام إلى تنسيق بيانات مهيكلة مثل JSON أو CSV وتنظيفها وربطها بحقول البيانات المستهدفة. عليك أيضًا تجميع البيانات وتخزينها مؤقتًا لتحميلها بكفاءة بحيث تكون البيانات متاحة دائمًا للاستعلام دون التحميل الزائد على موارد الحوسبة والشبكات لديك.
باستخدام HAQM OpenSearch Service، يمكنك بسهولة إنجاز هذه المهام كلها من خلال الاستفادة من عمليات التكامل مع HAQM Kinesis Data Firehose، أو Logstash، أو HAQM CloudWatch، أو AWS IoT، ما يوفر لك المرونة لتحديد أداة الاستيعاب التي تلبي متطلبات حالة الاستخدام لديك.
استيعاب البيانات باستخدام HAQM OpenSearch Ingestion
يُعد HAQM OpenSearch Ingestion إحدى إمكانات HAQM OpenSearch Service لجمع البيانات وتحويلها وتوجيهها إلى نطاقات HAQM OpenSearch Service. يزيد OpenSearch Ingestion من كفاءة التكاليف ويساعد في ضمان جودة البيانات. تُشغّل OpenSearch Ingestion Service مسارات OpenSearch Data Prepper كعملية بلا خادم تتكيف تلقائيًا مع احتياجات المعالجة الخاصة بأعباء عمل الاستيعاب. تعرَّف على المزيد »
استيعاب البيانات باستخدام HAQM Kinesis Data Firehose
باستخدام HAQM Kinesis Firehose، تستطيع بسهولة تحويل بيانات التدفق الخام من مصادر بياناتك إلى التنسيقات التي يطلبها فهرس Elasticsearch أو OpenSearch لديك وتحميلها إلى HAQM OpenSearch Service دون الاضطرار إلى بناء مسارات خاصة بك لمعالجة البيانات.
لاستخدام هذه الميزة، ما عليك سوى تحديد إحدى وظائف AWS Lambda من علامة تبويب تكوين توصيل التدفق لـ HAQM Kinesis Firehose في وحدة إدارة تحكم AWS. سيقوم HAQM Kinesis Firehose تلقائيًا بتطبيق وظيفة AWS Lambda على كل سجل من سجلات بيانات الإدخال وتحميل البيانات المحوَّلة إلى فهرس HAQM OpenSearch Service الخاص بك.
يوفر HAQM Kinesis Firehose مقايسات Lambda مُعدة مسبقًا يمكن استخدامها دون إجراء أي تغيير عليها أو تخصيص لها من أجل تحويل مصادر البيانات الشائعة مثل سجلات Apache وسجلات النظام إلى تنسيقات JSON وCSV. يمكنك أيضًا تهيئة HAQM Kinesis Firehose لإعادة محاولة أداء المهام الفاشلة تلقائيًا ونسخ بيانات التدفق الخام احتياطيًا. تعلّم أكثر »
استيعاب البيانات باستخدام Logstash
تدعم HAQM OpenSearch Service التكامل مع Logstash، وهي أداة لمعالجة البيانات المفتوحة المصدر تجمع البيانات من المصادر وتحوِّلها ثم تحمِّلها إلى Elasticsearch أو OpenSearch. يمكنك بسهولة نشر Logstash على HAQM EC2 وإعداد نطاق لـ HAQM OpenSearch Service خاص بك كمخزن خلفي لجميع السجلات التي تمر أثناء قيامك بتنفيذ Logstash. تدعم Logstash مكتبة من الفلاتر المعّدة مسبقًا لإجراء عمليات التحويل المشتركة بسهولة مثل تحليل بيانات السجلات غير المهيكلة وتحويلها إلى بيانات مهيكلة من خلال مطابقة الأنماط وإعادة تسمية الحقول الموجودة في سجلات البيانات لديك وحذفها واستبدالها وتعديلها، فضلاً عن تجميع المقاييس. تعرّف على المزيد »
استيعاب البيانات باستخدام HAQM Cloudwatch Logs
يتيح لك HAQM CloudWatch Logs مراقبة الأنظمة والتطبيقات واستكشاف الأخطاء وإصلاحها باستخدام ملفات سجل نظامك وتطبيقك الحالي، وملفات السجل المخصصة. يمكنك تهيئة مجموعة سجلات CloudWatch لدفق البيانات إلى نطاق HAQM OpenSearch Service الخاص بك في وقت شبه فعلي من خلال الاشتراك في CloudWatch Logs. هذا التكامل مناسب إذا كنت تستخدم بالفعل Cloudwatch Logs في جمع بيانات السجلات وترغب في مشاركة هذه البيانات مع مستخدمي HAQM OpenSearch Service. تعلّم أكثر »
استيعاب البيانات باستخدام AWS IoT
AWS IoT عبارة عن منصة سحابة مدارة تسمح للأجهزة المتصلة بالتفاعل بسهولة وأمان مع تطبيقات السحاب والأجهزة الأخرى. باستخدام AWS IoT، يمكنك التقاط البيانات من الأجهزة المتصلة مثل الأجهزة الاستهلاكية والمستشعرات المدمجة وصناديق التلفاز العلوية. باستخدام وحدة إدارة تحكم AWS، يمكنك تهيئة AWS IoT لتحميل البيانات مباشرة إلى HAQM OpenSearch Service، مما يتيح لك تزويد عملائك بوصول شبه فوري إلى بيانات IoT ومقاييسه. تعلّم أكثر »
كيفية اختيار آلية الاستيعاب الصحيحة
يعتمد اختيار آلية الاستيعاب الصحيحة على متطلبات حالة الاستخدام لديك، مثل زمن انتقال البيانات ونوع البيانات. بالنسبة للأحجام الكبيرة من البيانات، فإننا نوصي باستخدام HAQM Kinesis Data Firehose، وهي خدمة مدارة بالكامل وقابلة للتوسع تلقائيًا لمطابقة إنتاجية بياناتك، ولا تتطلب أي إدارة مستمرة. يمكنها أيضًا تحويل البيانات وضغطها وجعلها دفعات قبل تحميلها إلى نطاق HAQM OpenSearch Service. غالبًا ما يعتمد الاختيار أيضًا على الخدمات التي تستخدمها بالفعل. على سبيل المثال، إذا كنت تقوم بالفعل بجمع سجلات التطبيقات باستخدام HAQM CloudWatch Logs، فيمكنك ببساطة تحميل هذه البيانات إلى نطاق HAQM OpenSearch Service الخاص بك دون بذل جهد إضافي كبير.
الخطوات القادمة
- ابدأ استخدام HAQM OpenSearch Service بالاعتماد على AWS Free Tier »
- يمكنك العمل من خلال دليل بدء استخدام HAQM OpenSearch Service »
يتضمن OpenSearch رمز Elasticsearch معين مرخص من Apache من Elasticsearch B.V. ورمز مصدر آخر. Elasticsearch B.V. ليس مصدر رمز المصدر الآخر. ELASTICSEARCH هي علامة تجارية مسجلة لشركة Elasticsearch B.V.
تعلّم أكثر عن تسعير HAQM OpenSearch Service