تكامل HAQM Redshift لـ Apache Spark يبسط و تطبيقات Apache Spark ويسرعها والتي تصل إلى بيانات HAQM Redshift من خدمات تحليلات AWS مثل HAQM EMR و AWS Glue و HAQM SageMaker. باستخدام HAQM EMR وAWS Glue وSageMaker، يمكنك بسرعة إنشاء تطبيقات Apache Spark التي تقرأ البيانات من مستودع بيانات HAQM Redshift لديك وتكتبها إليه، دون المساس بالأداء أو اتساق المعاملات. يستخدم تكامل HAQM Redshift لـ Apache Spark أيضًا بيانات الاعتماد المستندة إلى AWS إدارة الهوية والوصول (IAM) في AWS لتعزيز الأمان. باستخدام تكامل HAQM Redshift لـ Apache Spark، لا حاجة إلى الإعداد اليدوي وصيانة للإصدارات غير المعتمدة من موصلات الجهات الخارجية. يمكنك البدء بمهام Apache Spark باستخدام البيانات في HAQM Redshift في ثوانٍ. يعمل هذا التكامل الجديد على تحسين أداء تطبيقات Apache Spark باستخدام بيانات HAQM Redshift.
فوائد HAQM Redshift
كيفية العمل
يتكون المخطط من خمس خطوات رئيسة. يتضمن العمود أقصى اليسار ثلاثة مربعات فوق بعضها البعض، مكتوب فيها (من أعلى إلى أسفل): AWS Glue وHAQM EMR وHAQM SageMaker. تشير هذه المربعات إلى العمود/ المربع الأوسط، المكتوب فيه "الوصول إلى البيانات في HAQM Redshift من خلال تطبيقات Apache Spark." يشير المربع الأوسط إلى المربع في أقصى اليمين المكتوب فيه "HAQM Redshift".
حالات الاستخدام
العملاء
إن Huron هي شركة خدمات مهنية عالمية تتعاون مع العملاء لتطبيق ما يمكن تطبيقه من خلال إنشاء الإستراتيجيات السليمة، وتحسين العمليات، وتسريع التحول الرقمي، وتمكين الشركات وأفرادها من الإمساك بزمام مستقبلهم.
"نحن نمكّن مهندسينا من بناء مسارات البيانات والتطبيقات الخاصة بهم مع Apache Spark باستخدام Python وScala." لقد أردنا حلاً مصممًا خصيصًا ليبسط العمليات ويقدم النتائج بشكل أسرع وأكثر كفاءة لعملائنا، وهذا ما نحصل عليه من خلال تكامل HAQM Redshift الجديد لـ Apache Spark.
كوري جونسون، مدير مهندس البيانات - Huron للاستشارات
شركة GE Aerospace هي مزود عالمي للمحركات النفاثة ومكونات الطائرات التجارية والعسكرية وأنظمتها. تقوم الشركة بتصميم المحركات النفاثة وتطويرها وتصنيعها منذ الحرب العالمية الأولى.
"تستخدم GE Aerospace تحليلات AWS وHAQM Redshift لتمكين رؤى الأعمال الحرجة التي تقود اتخاذ قرارات الأعمال المهمة. من خلال دعم النسخ التلقائي من HAQM S3، يمكننا إنشاء مسارات بيانات أبسط لنقل البيانات من HAQM S3 إلى HAQM Redshift. هذا يزيد من سرعة وقدرة فرق منتجات البيانات لدينا على الوصول إلى البيانات وتقديم رؤى للمستخدمين النهائيين. نمضي وقتًا أطول لإضافة القيمة من خلال البيانات، ووقتًا أقل في عمليات التكامل."
ألكوين ويدوس، مهندس البيانات الرئيسي - GE Aerospace
مجموعة Goldman Sachs المحدودة هي مؤسسة مالية عالمية رائدة تقدم نطاقًا واسعًا من الخدمات المالية تشمل الخدمات المصرفية الاستثمارية، والأوراق المالية، وإدارة الاستثمار، والخدمات المصرفية للأفراد، إلى قاعدة عملاء كبيرة ومتنوعة تضم الشركات والمؤسسات المالية والحكومات والأفراد.
"ينصب تركيزنا على توفير الخدمة الذاتية للوصول إلى البيانات لجميع مستخدمينا في Goldman Sachs. من خلال Legend، منصتنا مفتوحة المصدر لإدارة وحوكمة البيانات، نمكّن المستخدمين من تطوير تطبيقات تتمحور حول البيانات واشتقاق رؤى مستندة إلى البيانات، في الوقت الذي نتعاون فيه معهم في جميع جوانب صناعة الخدمات المالية. من خلال تكامل HAQM Redshift مع Apache Spark، سيتمكن فريق منصة البيانات لدينا من الوصول إلى بيانات HAQM Redshift بأقل عدد من الخطوات اليدوية - مما يسمح بالاستخراج والانتقال والتحميل (ETL) بلا تعليمات برمجية، الأمر الذي سيمكننا من التسهيل على المهندسين أن يصبوا كامل تركيزهم على تحسين سير عملهم أثناء قيامهم بجمع معلومات كاملة في الوقت المناسب. نتوقع أن نشهد تحسنًا في أداء التطبيقات وتحسين الأمان حيث يمكن لمستخدمينا الآن الوصول بسهولة إلى أحدث البيانات في HAQM Redshift."
نيما رافايل، كبير مسؤولي البيانات - Goldman Sachs