Базы знаний HAQM Bedrock

Чтобы снабдить базовые модели (ФМ) актуальной и конфиденциальной информацией, организации используют технологию Retrieval Augmented Generation (RAG), которая получает данные из источников данных компании и обогащает их, чтобы обеспечить более релевантные и точные ответы. Базы знаний HAQM Bedrock – это полностью управляемое решение с поддержкой управления контекстом сеансов и атрибуцией источников, которое охватывает весь процесс RAG – от ввода данных до их извлечения и масштабирования. Это позволяет быстро развернуть рабочий процесс без необходимости создавать собственные интеграции с источниками данных и управлять потоками данных вручную. Задавайте вопросы и обобщайте данные из одного документа без создания векторной базы данных. Если используемые данные содержат структурированные источники, базы знаний HAQM Bedrock предоставляет встроенное управляемое решение, которое преобразует естественный язык в структурированный язык запросов для генерации команды запроса и извлечения данных без необходимости их перемещения в другое хранилище.

Если вы работаете с неструктурированными источниками данных, базы знаний HAQM Bedrock автоматически извлекают информацию из таких систем, как HAQM Simple Storage Service (HAQM S3), Confluence (предварительная версия), Salesforce (предварительная версия), SharePoint (предварительная версия) и Web Crawler (предварительная версия). Дополнительно доступна функция программной загрузки документов, которая позволяет клиентам интегрировать потоковые данные или данные из нестандартных источников. Завершив загрузку содержимого, базы знаний HAQM Bedrock разделяют его на текстовые блоки, преобразуют текст во встраиваемые элементы и сохраняют их в векторной базе данных. Выберите одно из нескольких поддерживаемых векторных хранилищ, включая HAQM Aurora, Бессерверный HAQM OpenSearch, Аналитику HAQM Neptune, MongoDB, Pinecone и Redis Enterprise Cloud. Также можно подключиться к индексу гибридного поиска HAQM Kendra для управляемого извлечения данных

С помощью баз знаний HAQM Bedrock подключитесь к хранилищам структурированных данных для получения обоснованных ответов. Это особенно полезно, если у вас есть исходные материалы, такие как сведения о транзакциях, хранящиеся в хранилищах и озерах данных. Базы знаний HAQM Bedrock используют естественный язык в SQL для преобразования запросов в команды SQL и выполнения команд для извлечения данных без необходимости их перемещения из исходного источника.

Используя базы знаний HAQM Bedrock в качестве полностью управляемого решения RAG, вы можете гибко настраивать и повышать точность извлечения данных. Для неструктурированных источников данных, содержащих мультимодальные данные, такие как изображения и визуально насыщенные документы со сложной компоновкой (например, документы, содержащие таблицы, рисунки, графики и диаграммы), базы знаний Bedrock можно настроить на распознавание, анализ и извлечение значимой информации. В качестве анализатора вы можете выбрать функции автоматизации обработки данных Bedrock или базовые модели. Эта возможность обеспечивает бесперебойную обработку сложных мультимодальных данных и позволяет создавать высокоточные приложения генеративного искусственного интеллекта.

Базы знаний HAQM Bedrock предлагают множество развитых средств разбиения данных, включая разбиение по семантическим и иерархическим признакам, а также разбиение с фиксированным размером. Для полного контроля за ресурсами также можно написать собственный код разбиения в виде функции Lambda и даже использовать готовые компоненты из таких платформ, как LangChain и LlamaIndex. Если вы выберете Аналитику HAQM Neptune в качестве векторного хранилища, базы знаний HAQM Bedrock автоматически создадут встраиваемые элементы и графики, связывающие соответствующий контент с источниками данных. Базы знаний Bedrock используют эти взаимосвязи контента с GraphRAG для повышения точности поиска и предоставления конечным пользователям более полных, релевантных и объяснимых ответов.

С помощью Retrieve API можно получать релевантные результаты по пользовательскому запросу из баз знаний, включая визуальные элементы, такие как изображения, диаграммы, графики и таблицы, или структурированные данные из баз данных (если это применимо). RetrieveAndGenerate API обладает расширенной функциональностью, напрямую используя полученные результаты для дополнения подсказки базовой модели и возврата ответа. Можно также добавить базы знаний HAQM Bedrock в агенты для HAQM Bedrock, чтобы предоставлять агентам контекстную информацию. Кроме того, можно добавить фильтры или использовать базовые модели для создания нечетких фильтров, ограничивающих возвращаемые результаты только соответствующим контентом. В базах знаний HAQM Bedrock имеются модели изменения ранжирования для повышения релевантности извлеченных фрагментов документов.

Вся информация, полученная из баз знаний HAQM Bedrock, снабжена ссылками (содержащими также визуальные материалы) для повышения прозрачности и минимизации галлюцинаций.