Einführung der nächsten Generation von HAQM SageMaker: Das Zentrum für all Ihre Daten, Analysen und KI

Heute kündigen wir die nächste Generation von HAQM SageMaker an, eine einheitliche Plattform für Daten, Analytik und KI. Die komplett neue Version von SageMaker umfasst praktisch alle Komponenten, die Sie für Datenexploration, -vorbereitung und -integration, Big-Data-Verarbeitung, schnelle SQL-Analytik, Entwicklung und Training von maschinellen Lernmodellen (ML) und die Entwicklung von generativen KI-Anwendungen benötigen.

Das aktuelle HAQM SageMaker wurde in HAQM SageMaker AI umbenannt. SageMaker AI ist in die nächste Generation von SageMaker integriert und gleichzeitig als eigenständiger Dienst für diejenigen verfügbar, die sich speziell auf den Aufbau, das Training und die Bereitstellung von KI- und ML-Modellen im großen Maßstab konzentrieren möchten.

Highlights des neuen HAQM SageMaker
Im Mittelpunkt steht SageMaker Unified Studio (Vorschau), eine einheitliche Entwicklungsumgebung für Daten und KI. Es vereint Funktionen und Tools aus der Reihe eigenständiger „Studios“, Abfrage-Editoren und visueller Tools, die wir heute in HAQM Athena, HAQM EMR, AWS Glue, HAQM Redshift, HAQM Managed Workflows for Apache Airflow (MWAA) und dem bestehenden SageMaker Studio haben. Wir haben auch HAQM Bedrock IDE (Vorschau) integriert, eine aktualisierte Version von HAQM Bedrock Studio, um generative KI-Anwendungen zu erstellen und anzupassen. Darüber hinaus bietet HAQM Q KI-Unterstützung für all Ihre Workflows in HAQM SageMaker.

Hier ist eine Liste der wichtigsten Funktionen:

• HAQM SageMaker Unified Studio (Vorschau) – Entwickeln mit all Ihren Daten und Tools für Analytik und KI in einer einzigen Umgebung.
• HAQM SageMaker Lakehouse – Vereinheitlichen von Daten über HAQM Simple Storage Service (HAQM S3) Data Lakes, HAQM Redshift Data Warehouses und Datenquellen von Drittanbietern sowie föderierte Datenquellen mit HAQM SageMaker Lakehouse.
• Daten- und KI-Governance – Entdecken, verwalten und sichere Zusammenarbeit an Daten und KI mit HAQM SageMaker Catalog, welcher auf HAQM DataZone aufbaut.
• Datenverarbeitung – Analysieren, vorbereiten und integrieren von Daten für Analytik und KI Zwecke. Es können dazu Open-Source-Frameworks via HAQM Athena, HAQM EMR und AWS Glue genutzt werden.
• Modellentwicklung – Erstellen, trainieren und bereitstellen von ML- und Foundation Models (FMs) mit vollständig verwalteter Infrastruktur, Tools und Workflows basierend auf HAQM SageMaker AI.
• Entwicklung generativer KI-Anwendungen – Erstellen und skalieren von generative KI-Anwendungen mit HAQM Bedrock.
• SQL-Analytik – Einblicke, z.B. mit HAQM Redshift gewinnen.

In diesem Beitrag gebe ich Ihnen einen kurzen Überblick über die neue Generation von HAQM SageMaker Unified Studio und wie Sie mit der Datenverarbeitung, Modellentwicklung und der Entwicklung generativer KI-Anwendungen beginnen können.

Arbeiten mit HAQM SageMaker Unified Studio (Vorschau)
Mit HAQM SageMaker Unified Studio können Sie Ihre Daten erkunden und analysieren und dazu gewohnte AWS-Tools nutzen. Sie können End-to-End-Entwicklungsworkflows, einschließlich Datenanalyse, Datenverarbeitung, Modelltraining und Erstellung generativer KI-Anwendungen, in einer einzigen verwalteten Umgebung durchführen.

Ein integrierter SQL-Editor ermöglicht es, Daten aus mehreren Quellen abzufragen, und ein visuelles Extract, Transform und Load (ETL)-Tool vereinfacht die Erstellung von Datenintegrations- und Transformations-Workflows. Neue einheitliche Jupyter-Notebooks ermöglichen nahtloses Arbeiten über verschiedene Compute-Dienste und Cluster hinweg. Mit der neuen integrierten Datenkatalog-Funktionalität können Sie Daten und KI-Assets in Ihrer gesamten Organisation finden, darauf zugreifen und abfragen. HAQM Q ist ebenfalls integriert, um Aufgaben über den gesamten Entwicklungslebenszyklus hinweg zu optimieren.

Lassen Sie uns die einzelnen Funktionen genauer betrachten.

Datenverarbeitung
HAQM SageMaker ist mit HAQM SageMaker Lakehouse integriert und ermöglicht es Ihnen, Ihre Daten in einer einheitlichen Erfahrung zu analysieren, vorzubereiten, zu integrieren und zu orchestrieren. Sie können Daten aus verschiedenen Quellen mit den bereitgestellten Konnektivitätsoptionen integrieren und verarbeiten.

Beginnen Sie, indem Sie ein Projekt in SageMaker Unified Studio erstellen und das Projektprofil SQL-Analytics oder Data Analytics and AI-ML-Model development auswählen. Projekte sind ein Ort, an dem Sie zusammenarbeiten, Daten teilen und Tools verwenden können, um auf sichere Weise mit Daten zu arbeiten. Projektprofile in HAQM SageMaker definieren den vorkonfigurierten Satz von Ressourcen und Tools, die bei der Erstellung eines neuen Projekts bereitgestellt werden. Wählen Sie in Ihrem Projekt Daten (Data) im linken Menü und beginnen Sie mit dem Hinzufügen von Datenquellen.

Der integrierte SQL-Abfrage-Editor ermöglicht es Ihnen, Ihre in Data Lakes, Data Warehouses, Datenbanken und Anwendungen gespeicherten Daten direkt in HAQM SageMaker Unified Studio abzufragen. Wählen Sie im oberen Menü von HAQM SageMaker Unified Studio Build und dann Query Editor, um zu beginnen. Versuchen Sie ruhig auch einmal SQL-Abfragen mit natürlicher Sprache mithilfe von HAQM Q zu erstellen.

Hier können Sie auch das integrierte visuelle ETL-Tool erkunden, um Datenintegrations- und Transformations-Workflows mithilfe einer visuellen Drag-and-Drop-Oberfläche zu erstellen. Wählen Sie im oberen Menü Build und dann Visual ETL flow, um zu beginnen.

Wenn HAQM Q aktiviert ist, können Sie auch generative KI verwenden, um Flows zu erstellen. Visual ETL bietet eine breite Palette von Datenkonnektoren, vorgefertigten Transformationen und Funktionen wie Planung, Überwachung und Datenvorschau, um Ihre Daten-Workflows zu optimieren.

Modellentwicklung
HAQM SageMaker Unified Studio umfasst Funktionen von HAQM SageMaker AI, worüber Infrastruktur, Tools und Workflows für den gesamten ML-Lebenszyklus bereitgestellt werden. Wählen Sie im oberen Menü Build, um auf Tools für Datenvorbereitung, Modelltraining, Experimentverfolgung, Pipeline-Erstellung und Orchestrierung zuzugreifen. Sie können diese Tools auch für Modellbereitstellung und Inferenz, Implementierung von Machine Learning Operations (MLOps), Modellüberwachung und -bewertung sowie Governance und Compliance verwenden.

Um mit der Modellentwicklung zu beginnen, erstellen Sie ein Projekt in SageMaker Unified Studio mit dem Projektprofil Data Analytics and AI-ML-Model development und erkunden Sie die neuen einheitlichen Jupyter[EN, EXTERN]-Notebooks. Wählen Sie im oberen Menü Build und dann JupyterLab. Sie können die neuen einheitlichen Notebooks verwenden, um nahtlos zwischen verschiedenen Compute-Diensten und Clustern zu wechseln. Mit diesen Notebooks können Sie zwischen Umgebungen wechseln, ohne Ihren Arbeitsbereich zu verlassen, was Ihren Modellentwicklungsprozess optimiert.

Sie können auch HAQM Q Developer verwenden, um bei Aufgaben wie Codegenerierung, Debugging und Optimierung während Ihres gesamten Modellentwicklungsprozesses zu unterstützen.

Entwicklung generativer KI-Anwendungen
Verwenden Sie die neue HAQM Bedrock IDE, um generative KI-Anwendungen innerhalb von HAQM SageMaker Unified Studio zu entwickeln. Die HAQM Bedrock IDE enthält Tools zum Erstellen und Anpassen generativer KI-Anwendungen unter Verwendung von FMs und fortschrittlichen Funktionen wie HAQM Bedrock Knowledge Bases, HAQM Bedrock Guardrails, HAQM Bedrock Agents und HAQM Bedrock Flows, um maßgeschneiderte Lösungen zu erstellen, die auf Ihre Anforderungen und verantwortungsvollen KI-Richtlinien abgestimmt sind.

Wählen Sie Discover im oberen Menü von HAQM SageMaker Unified Studio, um HAQM Bedrock-Modelle zu durchsuchen oder mit den Modell-Playgrounds zu experimentieren.

Erstellen Sie ein Projekt mit dem Profil GenAI Application Development, um mit dem Aufbau generativer KI-Anwendungen zu beginnen. Wählen Sie Build im oberen Menü von HAQM SageMaker Unified Studio und dann Chat Agent.

Mit der HAQM Bedrock IDE können Sie Chat-Agenten erstellen und Wissensdatenbanken aus Ihren proprietären Datenquellen mit nur wenigen Klicks erstellen, was Retrieval-Augmented Generation (RAG) ermöglicht. Sie können Leitplanken hinzufügen, um KI-Interaktionen sicherer zu machen oder Funktionen erstellen, um sich mit anderen System zu integrieren. Mit integrierten Modellbewertungsfunktionen können Sie die Leistung Ihrer KI-Anwendungen testen und optimieren, während Sie mit Ihrem Team zusammenarbeiten. Sie können Flows für deterministische, GenAI-gesteuerte Workflows erstellen und Sie können Ihre Anwendungen oder Prompts innerhalb ihrer Domäne oder auch außerhalb, bereitstellen. Dabei behalten sie immer die Kontrolle über Ihre Projekte und Domänen-Assets.

Eine detaillierte Beschreibung aller HAQM SageMaker-Funktionen finden Sie im HAQM SageMaker Unified Studio Benutzerhandbuch.

Erste Schritte
Um mit der Nutzung von SageMaker Unified Studio zu beginnen, müssen Administratoren mehrere Einrichtungsschritte durchführen. Dazu gehören die Einrichtung von AWS IAM Identity Center, die Konfiguration der erforderlichen Virtual Private Cloud (VPC) und der AWS Identity and Access Management (IAM)-Rollen, die Erstellung einer HAQM SageMaker-Domäne und die Aktivierung von HAQM Q Developer Pro. Anstelle des IAM Identity Centers können Sie auch SAML über IAM-Föderation für die Benutzerverwaltung konfigurieren.

Nachdem die Umgebung konfiguriert ist, melden sich Benutzer über die bereitgestellte HAQM SageMaker Unified Studio-Domain-URL mit Single Sign-On an. Sie können Projekte erstellen, um mit Teammitgliedern zusammenzuarbeiten, und dabei aus vorkonfigurierten Projektprofilen für verschiedene Anwendungsfälle wählen. Jedes Projekt ist mit einem Git-Repository für die Versionskontrolle verbunden und enthält ein Beispiel für ein einheitliches Jupyter-Notebook, um Ihnen den Einstieg zu erleichtern.

Detaillierte Einrichtungsanweisungen finden Sie im HAQM SageMaker Unified Studio Administratorhandbuch.

Jetzt verfügbar
Die nächste Generation von HAQM SageMaker ist ab heute in den AWS-Regionen US East (N. Virginia, Ohio), US West (Oregon), Asien-Pazifik (Tokio) und Europa (Irland) verfügbar. HAQM SageMaker Unified Studio und HAQM Bedrock IDE sind ab heute in diesen AWS-Regionen als Vorschau verfügbar. Überprüfen Sie die vollständige Regionenliste für zukünftige Updates.

Preisinformationen finden Sie unter HAQM SageMaker Preise und HAQM Bedrock Preise. Weitere Informationen finden Sie unter HAQM SageMaker, SageMaker Unified Studio und HAQM Bedrock IDE.

Bestehende HAQM Bedrock Studio Vorschau-Domains werden noch bis zum 28. Februar 2025 verfügbar sein, können jedoch keine neuen Workspaces mehr erstellen. Um die erweiterten Funktionen von Bedrock IDE zu nutzen, erstellen Sie eine neue SageMaker-Domain gemäß den Anweisungen im Administratorhandbuch.

Probieren Sie das neue HAQM SageMaker noch heute in der Konsole aus und lassen Sie uns wissen, was Sie davon halten! Senden Sie Feedback an AWS re:Post für HAQM SageMaker oder über Ihre üblichen AWS Support-Kontakte.

Über die Autoren

Antje Barth ist Principal Developer Advocate für generative KI bei AWS. Sie ist Co-Autorin der O’Reilly-Bücher „Generative AI on AWS“ und „Data Science on AWS“. Antje spricht häufig auf KI/ML-Konferenzen, Veranstaltungen und Meetups weltweit. Außerdem ist sie Mitbegründerin des Düsseldorfer Chapters von Women in Big Data.