爱奇艺将最前沿的AI技术，落地到视频创作、内容分发中去，真正让创作者提升效率、让消费者简单快乐。
用AI结合科技与艺术，能促进整个产业的升级发展。在不改变原意的基础上，量子位对谢丹铭的演讲进行了编辑整理。
关于MEET 智能未来大会：MEET大会是由量子位主办的智能科技领域顶级商业峰会，致力于探讨前沿科技技术的落地与行业应用。本次大会现场有李开复等20余位行业顶级大咖分享，500余名行业观众参与，超过150万网友在线收看直播。包括新华社、搜狐科技、澎湃新闻、封面新闻等数十家主流媒体在内纷纷报道，线万。
目前，国内有上万部需要被拯救、保护的胶带电影。如果利用AI修复，就可以省去80%的繁复工作。
爱奇艺为内容创作者提供了一个素材库，让他们不再需要去盗版网站找视频素材。
在即将过去的2020年里，多数产业遭遇较大冲击，呈现出一个或深或浅的“V”字型走势。
演讲之前，孟鸿老师问了我一个问题：爱奇艺和视频行业，应该会是疫情的受益者？
如大家所见，年初由于疫情，很多人在家办公，加之寒假，我们的消费指数飙升得很高。
但在这之后，上下游和合作伙伴受到疫情冲击，我们也难以独善其身。在疫情期间，由于很多片子无法拍摄，出现了内容供给跟不上、广告预算大幅减少的情况。经过思考，我们试着将内容创作搬到线上，实现了一个云录制系统。
此后，我们利用AR、MR等XR技术，实现了虚拟制作，相当于搭建一个虚拟的棚，在棚里进行电影、电视剧拍摄。
目前，爱奇艺打造的智能平台，主要用于服务两部分人群：一部分是上游的内容创作者，另一部分是用户消费者。其中，内容创作者主要分为三类。
一类是传统的长视频创作者，包括导演、演员和后期制作人员，他们主要创作电影、电视剧、综艺、动漫及儿童动画片等类型的作品。
以综艺节目为例，爱奇艺最早投入、使用了一个大型AI综艺创作系统，名为“爱创媒资系统”。
在综艺录制现场，通常会有五六十个、甚至上百个（固定或移动的）摄像头同时进行拍摄，产生大量录制素材。这些素材的数量，是普通视频素材的几十倍、甚至上百倍，手动处理起来非常麻烦。
但如果用AI来处理这些素材，例如进行时间对齐，就能提升10倍左右的效率。
而利用AI，还能智能化地给素材片段打标签，如用AI识别音频中的演员台词、进行语义理解，让导演、后期制作人员能快速检索到想要的片段。
这些素材中，也有许多待删减部分，如模糊片段、黑镜和噪音废片，也都能用AI快速识别、处理。
事实上，最后的视频成片，并非综艺现场的原始记录，而是一种艺术创作。过程中，素材检索是非常重要的一环。除此之外，AI还能被用于视频审核、商务植入和视频宣发中。
例如，视频制作时，要求某一角色不能露出胡子、纹身，那么我们利用AI，就能快速找到这些不符合要求的内容。
这是一个AI功能包，能完成去噪、前景提亮、超分辨率、插帧等视频优化算法。
上个月，我们还和厦门大学的人文学院成立了一个联合实验室，专门修复像《小兵张嘎》这样的老电影。现在，国内还有上万部这样的胶带电影，需要被拯救、保护，如果利用AI修复，可以减少80%的工作，剩下的20%再交由厦大的同学，一帧帧手动审核修复。
但无论是东南亚还是欧洲，语言都呈现碎片化特点，在不同的地区，可能出现多种不同的语言。
如果要做一部视频的海外配音，就需要找各个角色的、不同语言的配音演员，成本会非常高。
因此，我们构建了一个AI音色库，利用Voice Conversion（语音转换）来配音，只需要给每个角色找一个“演员”，就能完成所有视频的配音。
相对来说，TTS（语音合成）无法准确表达语气、语调，但Voice Conversion却能用另外一种音色，将情绪很好地表达出来。电影之外，还有一个相对庞大、有前景的产业，就是动漫。
过程中会先画出线框、再完成上色，其中光是上色阶段，就占据工作量的40%~50%。
例如，让创作者指定一种风格，比如“赛璐璐”。利用风格迁移，AI立刻就能完成“赛璐璐”风格的线稿上色。如果涉及AI没有学过的风格，也可以先手动给关键帧上色，再利用特征迁移，将上色风格迁移到其他帧中。
上面这些AI操作，是针对传统、制作精良的动漫设计的。除此之外，还有一种名为轻动漫或者动态漫的动漫类型。
这种动漫，可以理解为给漫画加了一点动效，让人物能够走动、说话。现在，轻动漫在网上的传播量非常大，我们也已经能利用AI，制作这种动漫。
只需要用AI对动漫人物进行面部识别，再做唇形驱动，就能让人物的嘴巴动起来，接近人工制作的效果。
其中，左边的“小满”是虚拟手语主播，右边的“小又”，则是虚拟节目主持。利用TTS和Voice Conversion合成声音、加上唇形和表情驱动合成口型，就能让她们开口“说话”。
首先，用户会想出一个创意，围绕创意搜集一些素材，根据素材寻找合适的背景乐，最后在剪辑工具中完成视频创作。
要想制作这样的视频，只需要利用我们的“一键成片”功能，就能用AI分析一部明星出演的电影，并在10秒内创作关于这个明星的短视频。
像易烊千玺的粉丝，只需要选择“易烊千玺”，再选中他出演的电影《少年的你》，点上背景音乐，就能完成粉丝视频的创作。这种视频，也叫“舔屏向”视频，其中“舔屏”，指喜爱某个明星到想要舔手机屏幕的程度。
当然，爱奇艺还给内容创作者提供了一个素材库，不再需要去盗版网站找视频素材。
我们在随刻创作APP的素材库里，利用AI对站内的长视频进行内容理解，并打好了人物、动作、场景等标签。
此外，APP也能根据创作的视频内容，智能推荐较匹配的背景音乐。当然，还可以用TTS来配音、或是用ASR给视频填充字幕等。
同时，我们也希望给用户提供更好的感觉，例如，在视觉和听觉上，给用户以高清、流畅的体验感。
目前，用户已经能通过语音和手势，对手机、平板、笔记本电脑、电视等各种电子设备上的爱奇艺APP进行操作，交互变得更加自然。
但爱奇艺APP覆盖的设备，还包括VR头盔、家庭娱乐设施及车载APP等，其中，有些设备无法很好地用键鼠、触控进行输入。
因此，我们做了一个Home AI的语音交互平台，可以做语音识别。不仅如此，这个平台还能识别音色，根据音色来推荐内容。
利用这些功能、加上AI的人脸识别技术，我们做了许多有意思的创新，例如一些小游戏。
这是《青春有你》的虞书欣同学，示范的一个“吃鸡腿”小游戏，用到了五官、轮廓识别的AI技术。当她没吃到鸡腿时，AI就会在她的轮廓上套个黑帽子。
例如，看视频时，用户想知道其中某个演员叫什么、饰演过什么电影，或是想知道视频的背景音乐、想了解一段台词的涵义。
因此，我们做了一个叫“奇观”的智能识别平台，不仅能识别视频中的演员、背景音乐，还能查到台词的意思。
去年，“奇观”还实现了“卡通识别”功能，像《小猪佩奇》里的猪爸爸、猪妈妈，都能识别出来。
我们对爱奇艺的站内长视频进行了精准分析，做了两三千组标签，包括人物、场景、动作、行为和转场景等。这样，客户在投放广告时，我们就可以根据他需要的场景，来进行定向投放。
例如，某个视频中出现了购物场景，我们就可以给用户投放一个电商广告，来降低对用户的干扰、增加客户投放效率。
当然，还有叫做“Video In”的广告，也可以用AI来识别场景，看哪些点位可以用来投放。
例如，想要植入某种药物广告。通过AI，我们识别到视频中有一张桌子，就可以把这瓶药放上去。
或是识别到视频中有一堵墙，也可以在上面放一个广告框、贴上广告。这种原生植入的广告类型，同样受客户喜欢。
此外，爱奇艺还会直播一些如足球、网球等体育节目，我们会对其中的直播流进行实时分析。
如果出现了“高能”场景，如足球进球、或是网球得分，我们也会及时插播广告。
这些在精彩时刻推出的广告，效果很好。因为这种场景下，观众的注意力也会非常集中。除此之外，我们也能利用AI，为广告做不同的个性化海报。
针对用户的特性，我们能让AI生成各种风格的海报，针对性地进行分发，能极大程度上提高用户的点击率。
刚刚提到的这些用户创作、广告消费的AI功能，只是爱奇艺这个“智能板图”中的一部分。
在视频制作方面，我们也上线了剧本分析、流量预测等功能，至于内容剪辑，也包括智能拆条、智能混剪等AI工具。
在后台中，涉及AI的应用就更多了，包括AI翻译、审核等工具，都是各大视频网站的标配。我们希望通过AI，将科技与艺术进行结合，来促进整个产业的升级发展。
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
原标题：《爱奇艺谢丹铭：用AI让创作者提升效率，让消费者简单快乐丨MEET2021》
