AWS Content Analysis 解决方案介绍

Original URL: http://amazonaws-china.com/cn/blogs/media/introducing-aws-content-analysis-solution/

AWS Content Analysis解决方案是一套基于内容的全自动视频搜索引擎。其使用AWS提供的AI服务执行计算机视觉与语音分析，借此量化视频内容，对视频进行分类，帮助用户根据指定的搜索条件浏览视频数据集。该解决方案还提供自动化功能，可大大减少对视频归档进行搜索分类时耗费的人力与时间。

配合这套解决方案，用户还可以通过AWS AI服务快速从内容当中提取洞见，并了解这些服务如何支持更为广泛、适用于不同领域的具体用例。

在AWS Content Analysis解决方案的支持下，用户可以轻松探索以下问题：

HAQM Rekognition能否为我希望搜索的对象提供标签？
HAQM Transcribe能否识别视频中的语音内容？
HAQM Translate能否准确将视频中的语音转录为文本？

这套解决方案使用以下AWS服务处理视频素材：

使用 AWS Elemental MediaConvert提取缩略图与音频。
使用 HAQM Rekognition实现物体、名人、人脸检测、人脸搜索以及显式内容检测
使用 HAQM Transcribe生成转录文本。
使用 HAQM Translate翻译转录文本。
使用 HAQM Comprehend进行关键词检测及其他文字记录分析。

在将视频上传至AWS Content Analysis Web应用程序之前，用户可以选择要启用的对应AWS AI服务。

下表所示，为完整的可选服务集：

视频分析

AWS Content Analysis解决方案将上述服务生成的数据整合为交互式可视化形式，帮助用户查看所选对象的边界框、在视频时间轴中调查对象、读取自动生成的脚本、生成翻译结果等等。

使用这套解决方案，我们可以获得极高的视频收集数据保真度，并借此做出进一步详尽分析。以下图表所示，为我最喜爱的一部电影《谋杀绿脚趾》中两分钟场景的录制数据量。这段时长两分钟的剪辑共产生了约18000条数据记录——这也在一定程度上帮助我们了解到视频编目过程中的对应数据量：

AWS Content Analysis解决方案还能够处理完整的全时长影片。例如，在时长为两个小时的电影《天使爱美丽》中，总产生了652000条数据记录，具体如下图所示：

视频搜索

视频的索引与分类任务在HAQM Elasticsearch实例中进行。我们可以使用标准Elasticsearch查询语言（也称Lucene）通过GUI对视频分析结果进行搜索。本节将向大家介绍几种常见的搜索模式示例。

全文搜索

全文查询将帮助用户搜索视频目录中的任何数据。例如，HAQM Rekognition名人检测服务能够返回从完整视频中检测到的所有名人对象的姓名。您可以直接输入姓名以搜索名人出现的画面，如以下截屏所示：

搜索高置信度数据

由HAQM Rekognition返回的每个标签都对应一项置信度值，该值指示AI算法对于当前结论的确定程度。您可以使用该值对搜索结果进行过滤。例如，Violence AND Confidence:>80代表着视频中暴力判断置信度在80%或者更高的画面。

从不同操作符处搜索数据

这类搜索将查询Elasticsearch中的整个元数据目录。对Violence的搜索将匹配内容审核当中包含“Violence（暴力）”标签的视频，同时也将匹配包含暴力词汇的转录文本段落。您可以将搜索范围，限制在仅包含特定操作符名称的内容审核结果之内。例如：Operator:content_moderation AND (Name:Violence AND Confidence:>80)。

下面来看关于搜索查询过滤中全部操作符名称的完整列表：

label_detection
celebrity_detection
content_moderation
face_detection
face_search
transcribe
key_phrases
entities

跨多个操作符搜索相关概念

这类搜索的本质，在于使用多个操作符名称进行复合搜索。以(Operator:content_moderation AND Name:Violence AND Confidence:>80) OR (Operator:label_detection AND (Name:Gun OR Name:Weapon))为例，其将返回被内容审核机制标记为“Violence（暴力）”的部分，以及由标签检测机制标记为“guns（枪支）”或“weapons（武器）”的部分。

总结

AWS Content Analysis解决方案现已在全球各AWS区域上线，旨在帮助拥有大量视频素材的组织利用搜索功能检索视频内容。这套解决方案还可帮助个人使用自己的视频内容测试AWS AI服务，从而更好地理解各类服务的潜在应用场景。

关于AWS Content Analysis的更多详细信息，请参阅解决方案页面。

亚马逊AWS官方博客