当前位置: 编码机 >> 编码机发展 >> 4K修复,还原的是影像的过去,定义的是电
很快,远处的一个黑点变成了一个清晰的火车头,各种各样的乘客涌来。
火车减速,沿着月台慢慢停下,车厢门打开,奥古斯特·卢米埃尔夫人带着两个穿白衣服的孩子走进车厢......紧接着,一个穿洁白冬装的少女走了过来,无意间看到了摄像机,她流露出害羞的表情,悄悄的躲过了镜头......
没有复杂的拍摄技巧,没有丰富的电影语言,一个简单的火车站深度镜头,真实地呈现了20世纪90年代法国乘客等待的场景。
《火车进站》是卢米埃尔兄弟执导的世界上第一部电影,只有50s黑白无声电影在当时给人们带来了强烈的新鲜感。4K修复仍有浓厚的历史韵味。
经过20年的发展,大量经典、重要、珍贵的电影摆脱了尘埃的命运。《海上钢琴家》,如《海上钢琴家》、《永不消失的电波》、《英雄本色》、《阿飞正传》,以全新的面貌重现了银幕,带回了一代人的青春记忆,展现了老电影的独特魅力。
《永不消失的电波》4k修复剧照
4K修复不仅可以保留电影的独特纹理,还可以适应电影的数字化,可以说是电影时代过渡到数字时代的好选择。然而,这些经典电影的背后是巨大的成本投资,电影修复一直是一个大行业。
一部电影要完成4K至少需要两三个月甚至半年的时间才能修复。长周期意味着高成本。从修复、投资到上映,电影《决胜时刻》花费了大约数千万美元。.卡梅隆的传世之作3D泰坦尼克号的版本花费了多万元。
除了资金成本高,人力短缺也是如此4K修复的一大枷锁。人被用于开国仪式10分钟的镜头片段,这些人不仅要深入了解电影艺术,还要了解电影的物理、化学、软件修复技术和电影特效。
对于浩如烟海的电影来说,修复工作是与时间赛跑的抢救工作。
近日,西瓜视频与火山发动机联合发布了经典视频4k修复计划表示,明年将与央视动画、上海美术电影制片厂合作,共同利用4K著名的经典动画,如《舒克与贝塔》、《西游记》等。
哪吒传奇(),围棋少年(),围棋少年(2),大头儿子和小头爸爸(),鲤鱼历险记(),我是歌手()。1-5九色鹿、舒克和贝塔1-13集,没头脑,不开心1-26集,邋遢大王奇遇记1-13集,西游记,魔方大厦1-10猴子捞月,大盗贼捞月1-8集,葫芦小金刚1-6集,南郭先生,曹冲称象,大耳朵图(第一季)1-4集、小鲤鱼跳龙门、东郭先生、鹬蚌相争、老狼请客、咕咚来了、崂山道士、半夜鸡叫、十二生肖1-13小虎归乡,骄傲的将军,超级肥皂,济公斗蟋蟀,人参王国,阿凡提的故事1-13集,猴山,大英雄狄青1-52部电影,部电影。(修复后的内容,用户可以免费观看西瓜视频)
发布会上,针对当前4K火山引擎多媒体实验室研究员赵世杰提供了火山引擎智能处理解决方案,具有电影维修成本高、周期长、人力短缺等缺点。他说,通过超分辨率、智能插帧、色彩增强、降噪等自主研发算法,AI能大大提高老片的修复效率和质量。
4k修复,还原艺术本色
在新闻发布会上,哪吒、葫芦娃和黑猫警长以超高分辨率出现在大屏幕上。每一幅画的细节都得到了完美的呈现,光影水平也变得流畅,给观众带来了不同的童年感受。
所谓电影修复,其实就是通过修复、降噪、补光、调色等技术,将老电影复制到数字载体上,还原和优化电影原貌的过程。
2k技术是早期电影修复的主要手段,用于去除电影杂质和噪音,恢复原有的视觉纹理;4k除了清晰度和流畅性外,技术还需要更高、更精细的分辨率,注重电影的原始色调和光影水平,为观众创造身临其境的感觉。
年上映的《舞台姐妹》是中国第一部4K修复这部电影4K扫描、4K输出的全彩修复电影让当时的观众耳目一新。后来,随着修复技术的不断完善,年上映的修复版《山狗》、《滑铁卢战役》和《决定性时刻》成为电影市场的非凡作品。从今年开始,4K修复版电影开始走进大众的观影生活,电影修复技术也正式由2K时代进入时代4K时代”。
尽管有了AI,4k电影修复仍然是一项艰巨而繁重的任务。赵世杰介绍,由于拍摄条件、电影保存、使用损坏等因素,老电影一般清晰度低、流畅度低、色彩扭曲、缺陷等不同程度的图像质量问题。
在过去,老电影主要使用电影作为拍摄和存储的介质。早期胶片的材料是一种比纸更易燃的硝酸片基,后来发展出醋酸片基和聚酯片基,但无论哪种片基在室温下难以保存,温度、湿度、搬运移动和播放外部因素都容易造成胶片损坏。
目前,中国电影数据博物馆保存了近3万部电影数据。由于年龄长、保存条件不理想或转印、播放次数过多,灰尘、污垢、霉菌、褪色、图像抖动、划痕、闪烁、噪音、变色、模糊等问题普遍存在。
胶片质量直接影响人工维修的难度和时间成本。一般情况下,熟练的修理工一天最多可以修复帧图片,但如果胶片保存不好,污垢、裂缝、变色等问题严重,修理工一天只能修复一秒(24帧)。此外,如果图片涉及夜剧、雨剧、烟剧、特效剧等复杂场景,修复周期将翻倍。它于年上映4K在修复版《开国大典》中,一段片段拍摄于年和年之前,全长只有10分钟,占整个修复团队的70%。
由于胶片质量和所用时间不同,修复的花费也不尽相同,但一部90分钟标准时长的4K电影修复通常需要多万元,从物理修复、数字化转换到声画合成和色彩调整,整个修复过程并不比制作新电影难。
事实上,抛开成本问题,电影修复最大的问题就是如何保留电影的艺术风格和美感,4K修复版电影曾经因为颠覆了电影的美感而引起争议。经过长时间的侵蚀,一部老电影已经变得暗淡模糊,通过AI技术要把它修复得光鲜亮丽并不难,难的是如何还原老电影的感觉。因此,如何赋予它AI火山引擎要克服的核心问题是艺术修养。
四种智能算法,用力量让感情落地
归根结底,修复动画片和旧电影不仅是为了提高它们的清晰度,也是为了修复这些内容背后的记忆。修复的价值是通过这些记忆在几代人之间产生共鸣和火花。西瓜视频总裁任利锋表示,经典作品凝聚了老艺术家的智慧和精神,需要我们真正还原和呈现。
在第一批修复过的动画作品中,经典的水墨剪纸动画《葫芦兄弟》也在其中。这部改编自民间文学《十兄弟》的神话动画片是70后和80后的共同记忆。为了保持水墨剪纸独特的艺术感,赵世杰承认,他们在修复葫芦兄弟时多次与制片人讨论方案,经过反复测试和调整,达到了理想的效果。
在算法方面,为了防止意外伤害水墨朦胧的艺术效果,他们在消除缺陷算法方面没有设置很高的强度,而是故意错过了人工辅助处理的部分缺陷。对于严重损坏的旧电影,完全消除缺陷需要大量的人力。火山发动机修复数据显示,该算法可以直接消除95%以上的缺陷,其余的在手动标记后进行二次优化。
据了解,这次4K修复利用火山发动机智能处理产品的部分技术能力,通过超分辨率、智能帧插入、智能降噪、色彩增强等算法提高视频图像质量。修复过程大致是,首先使用视频降噪算法进行初步处理,然后通过几种不同的超分辨率算法进一步扩展到4K分辨率,并生成更精细的细节,最后再通过插帧算法网络和HDR重制算法将充满噪音和压缩损伤的视频增强为主观画质舒适4K60帧HDR节目。以下是各种功能和优势的简要介绍:
智能超分:根据现有图像和视频信息重构缺失的细节,解决模糊、清晰度差、分辨率低的问题。
超分辨率(Super-Resolution,超分)在视觉处理中的广泛应用给了它一个非常成熟的解决方案。火山发动机的技术创新主要体现在时域建模和自适应处理上。前者可以自动生成和恢复额外的细节,后者可以区域分割视频或图像,以确保不同视频/图像区域的风格和美感。
智能插帧:采用深度学习算法,通过插帧将低帧率视频转化为高帧率视频,使视频更加流畅流畅。
老动画片容易卡住,流畅性差,主要是因为画帧数少。智能插帧技术的作用是通过分析前后帧的动态和内容来生成中间帧,从而提高视频帧的频率和流畅性。对于动画纹理较少的问题,现阶段的解决方案很难判断前后帧对应的运动块。针对这个问题,火山发动机流,提高了插帧的准确性。
视频降噪:消除胶片存储和转录过程中的各种噪声和闪烁。
常用的视频降噪算法在消除噪声的同时,容易损坏纹理区域。通过对纹理和噪声的智能分析,火山发动机方案可以尽可能保持视频的原始纹理不受影响。
划痕修复:识别和修复视频中胶片的划痕损伤。
考虑到修复的难度和效果,火山发动机采用了算法人工的解决方案。从现有的研究来看,如果使用纯的AI对于技术修复,很难发现所有密集而微小的划痕,也容易出现意外伤害;相对而言,人工修复效果会更好,但需要更多的时间和资金,效率会降低。火山发动机的方案是先用算法初步修复小划痕,然后用人工标记算法查漏补缺,修复大划痕。实验证明,算法对人工标记结果进行再修复,效率和效果最好,恰恰体现了火山发动机虽然有先进的音视频技术,但不仅仅是技术的理念。
锯齿修复:针对电影采样过程中锯齿线和频谱的混淆,设计了独立算法。
锯齿修复的关键问题是锯齿定位。与划痕不同,并不是每个图像都会出现锯齿线。经过多次尝试和实验,火山发动机多媒体实验室团队发现锯齿效应通常是由数字扫描引入的,行业内没有相应的修复算法和工具解决方案。因此,火山发动机设计了一套优化算法,大大提高了锯齿的修复效果。
SDRToHDR:对于质量较低的视频,分析颜色、对比度、细节和图片层次,自适应低质量问题,提高源视频质量和转码后视频质量。
从现有的产业和学术界来看,无论是产业还是学术界SDR在视频中恢复更高的动态范围和颜色广度HDR视频的需求一直在增长。一般来说,如果标准动态范围没有太大提高,很可能会有过多的图像像素、低质量和更丰富的层次和细节。SDR相比之下,高动态范围(HighDynamicRange,HDR)细节更丰富,色域更宽,色彩过渡更自然,图像质量更高。
火山引擎,天生的视频能力
火山发动机是字节跳动旗下的企业级技术服务平台,围绕音视频技术搭建视频点播,veImageX、集企业直播、视频直播、实时音视频、云编辑、智能处理于一体的视频云产品矩阵。视频云属于火山引擎中台服务。它最大的优势是拥有抖音、西瓜视频、今日头条等实际战斗场所,可以在丰富的场景下不断迭代和完善音频和视频能力。
火山引擎视频云产品负责人Keith我们将在抖音和西瓜场景中不断探索视频播放体验的极端,解决这一过程中的大规模问题,我们在接受媒体采访时说。这些问题的解决方案将沉淀成方法论,然后集成到火山引擎视频云的产品中。
所有音视频产品发展到一定规模后,其突破点必须是处理细节。早在年,字节跳动就推出了大规模测试平台A/B测试,为字节跳动算法和产品提供测试和优化的平台。A/B测试连接抖音、西瓜视频等全线业务后,每天进行数万次测试,每天增加多个新实验,覆盖多个大大小小的业务。4K智能插帧、智能超分、智能降噪等算法已通过修复技术A/B测试和多平台、多场景的千锤百炼。
该标准被称为高科技产业王冠上的宝石。标准中拥有更多专利的人在行业中拥有更大的发言权和主动权。正因为如此,主要科技巨头非常重视标准的制定,并将相关专利技术视为核心资产。
在国际标准H./VVC字节跳动排名第三,仅次于高通和华为。
作为一家没有参与上一代视频编解码标准开发的互联网公司,字节跳动实现了从标准跟随者到制作者的飞跃。在制定新一代视频编解码标准的过程中,字节跳动发起了多项技术提案H./VVC采用标准,形成一系列原创性技术。
除了标准化工作的重要贡献之外,火山引擎多媒体实验室团队在H./VVC商业化落地方向也做出了积极的贡献。
早在年6月,火山引擎已经完成满足点播场景应用的自研编码器BVC第一个版本,该版本与x编码器相比,在相同计算资源下,针对大量的p高清视频,BVC编码器可以将平均码率下降33%。之后,BVC经过不断迭代,性能又有大幅提升。除了自研编码器,自研解码器也已经配套完成,在高端手机上可以做到实时流畅播放高清和超高清视频。
H.标准之后,火山引擎对视频编码技术仍在进一步探索,目前侧重的两个方向,一个是基于新兴深度学习的视频压缩(也包括深度学习和传统混合视频编码框架的结合),另外一个是基于传统混合视频编码框架技术的继续挖掘。尽管还只是刚刚开始,但已经取得了突破性的进展:
基于深度学习的自适应滤波器DAM算法,获取15%以上的性能增益;
基于混合视频编码框架融合多项技术,获得超过13%以上的性能增益。
其中,自适应滤波器(DAM)算法,主干是基于残差单元堆叠的深度卷积网络,辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接,允许网络把注意力放在变化的残差上,这与视频图像帧之间的残差有异曲同工之妙,比如武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是相同的,闪动的剑光形成残差,这也是视频编码压缩的重点
转载请注明:http://www.aideyishus.com/lktp/1213.html