视频概念

硬解码:通过硬件(GPU)来解码视频,优点是效率高,降低功耗,缺点支持格式少
软解码:利用CPU来解码视频
**帧率:**视频是由于一幅幅图组合而成,帧率越高,表现的越丝滑
**码率:**也叫比特率,是一定时间内传输多少比特(bit)。计算方法：如一帧图大小是0.8kb，那么码率30帧就是0.8kbx8(一个byte有8bit)=6.4kbx30= 192 kb/s

推荐一个视频解码器：下载 K-Lite 编解码器包 (codecguide.com)

或者直接下载potPlayer和VLN软件也会自带一些解码器

Unity中播放视频;

VideoPlayer
AVPro插件
CRIWARE中国官网网站

Unity视频视频格式问题

在unity中采用VideoPlayer播放视频会有很多日志警告

这里采用HandBrake软件对视频进行编码

Unexpected timestamp values detected. This can occur in H.264 videos not encoded with the baseline profile…

将视频进行baseline编码

参考:Bug - UWP HoloLens 2 App Crash after some seconds when reading video - Unity Forum

Is it only happening in the build and not on the Desktop? Can you try transcoding your file in baseline? I see it is High@L4.2. You can do that using FFmpeg or the software you used to encode your file.

Code (CSharp):

ffmpeg -i input.mp4 -c:v libx264 -preset fast -profile:v baseline out.mp4

First video frame not zero: 2 (0.083333s). Result may be out of sync….

开始帧没对齐用视频重新转一下就ok

WindowsVideoMedia error unhandled Color Standard: 0 falling back to default this may result in rendering issues

参考:Video - Null Reference Exception when playing video - Unity Forum

Question - Video file problem - Unity Forum

Yeah, the “Unexpected timestamp values detected” warning tells you that we have to offset the video timestamps, and frame accuracy will be impacted negatively because it was not encoded using the baseline profile. For most users, it is not an issue. But if you care, you should encode your file using the baseline profile.

The “WindowsVideoMedia error unhandled color standard: 0” warn that the video file doesn’t specify its color standard and we took a guess and chose BT.709 as it is the most popular. In Unity, we support BT.601, BT.709, and BT.2020. Again for most users, it is not an issue. But if you care or see a color shift because your file is not BT.709, you should specify the color standard while encoding your video files.

将色彩空间修改成 BT601 BT701 BT2020 即可

AudioSampleProvider buffer overflow. XXX frames discarded

AudioSampleProvider buffer overflow_skip on drop-CSDN博客

播放透明视频

在unity中呈现透明视频播放主要有一下几种方式:

利用Unity自带的VideoPlayer 播放透明视频
利用AVpro插件播放格式为Hap alpha或者Hap Q alpha 的.mov或.avi
利用Avpro播放通道分离的.MP4 视频
利用shader 分离进行透明分离(暂不讨论)

本文最后会介绍一个自己做的小工具用于转换透明视频

利用Unity自带的VideoPlayer组件播放透明视频

unity在5.6版本增加了播放视频的的功能,对应的就是VideoPlayer组件. 在Unity中暂时支持两种透明格式的视频,链接说明

.webm 是Google基于以 Matroska（就是我们熟知的 MKV）容器格式为基础开发的新容器格式，里面包括了 VP8 视频和 Ogg Vorbis 音轨 .
apple prores 4444 视频格式,此格式不太熟,具体看官方说明 ,附上一个apple prores 4444 视频说明

将导入的.webm视频放入unity中查看

如上,那么这个视频就是支持透明通道了接着只要按照寻常的方法用VideoPlayer组件对其进行播放即可

制作webm视频

一般在pr或者 Media Encoder 中制作视频导出的时候没有是webm格式,这个时候就需要下载插件,插件链接

导出的时候(搬图)

注意: 一般webm视频我们不需要其他的一些操作就可以支持透明视频,在android平台上面需要一些操作

在官方文档中也有说明：视频文件兼容性 - Unity 手册

Webm 与 VP8

.webm 文件格式对规范进行了改进，因此可在与 VP8 视频编解码器结合使用时携带原生的 Alpha 信息。这意味着任何 Editor 平台都可以读取使用这种透明度格式的视频。由于 Unity 支持的大多数平台都使用软件实现方案来解码这些文件，因此不需要为这些平台进行转码。一个需要注意的例外情况是 Android。该平台的原生 VP8 支持中不包括透明度支持，这意味着必须启用转码，以便 Unity 使用其内部 Alpha 表示方法也就是我们要手动对其进行转码