Back to Blog

基于RK3399/RK3588 H.265/HEVC的低延迟视频传输系统设计与实现

#h.265#音视频#人工智能

近年来,随着短视频直播的兴起,视频传输设备在生活中的应用越发普及。人们对图像

清晰度、帧率、码率等技术指标的要求不断提高,视频帧所包含的数据量也在急速增加。在

有限的网络带宽下,传统的视频采集设备面临压缩率不足、帧率低、延迟高等技术瓶颈,这

使得它们无法应用于超清图像的传输场景。因此,面对不断提升的视频质量,提高视频传输

系统的编解码效率、降低传输延迟显的尤为重要。

针对上述问题,本论文提出一种基于 H.265 编解码协议的低延迟视频传输系统,用于解

决超清图像传输场景下传输延迟较高的问题。论文围绕 RK3399 硬件设计,Linux+Android

嵌入式开发、H.265 编解码等几个方面展开研究,在此基础上引入多个优化策略降低系统传

输延迟,提高编码效率。主要完成的工作如下:

1. 设计和提出了一种基于 H.265 编解码协议的低延迟视频传输系统,用于实现对超清图

像的低延迟传输。对比于传统视频传输设备,本设计的特点包括:使用软件编码技术,避免

硬件编码中数据在硬件层面集成后不利于参数修改的问题,提高了系统的可移植性和可拓展

性;基于 H.265 编解码协议,实现了超清 1080P 视频的低延迟传输,解决了软件编码在超清

视频编码场景下具有较高延迟的问题;系统硬件设计上对编码终端功能模块进行集成,大小

为 120mm*100mm*15mm,具有体积小、方便携带的优点。

2. 通过多种低延迟策略对视频传输系统整体延迟时间进行优化。依托 RK3399 强大的运

算能力,对 X265 编码器配置进行优化以加快编码速率;对拥塞控制算法的慢启动时间进行

把控以减少丢包导致的数据波动,提升网络传输稳定性,降低传输延迟时间;使用环形 FIFO

的数据结构替代传统线性结构的缓存区设计,提升多线程调度下系统的运行效率;通过调用

Android 原生的 MediaCodec 对解码器进行配置优化,结合硬件加速,实现高效的 H.265 解码;

对 Android 显示控件进行优化,加快视频刷新率,实现高帧率刷新显示;使用 AsyncTask 重

写多线程内容,避开工作线程+Handler 的异步消息传输组合,实现高效的异步通信。

3. 实现了基于 H.265 的低延迟视频传输系统在实验环境下的测试与分析。针对不同信号

强度,对五种不同分辨率视频序列进行传输测试,结果表明:局域网内,在满足编码质量的

前提下,对 1080P 质量的视频进行传输,系统端到端的网络传输延迟时间为 127ms,压缩比

为 131.8,编码终端功耗小于 6W。与优化前的视频传输系统相比,优化后的视频传输系统总

延迟时间减少了 11.9%。系统功能完整、性能优异、满足低延迟特性,具有一定的实用性。