■稳弦糠 ｉ ＃ｏ匹ｎ ｉ ｆ ｒｉｎｇ Ｄ吲Ｔ － 【本文献信息】邹涛，杨秀芝，陈建．基于ＦＰＧＡ的ＡＶｓ视频解码帧内预测的设计和实现［Ｊ】．电视技术，２０１２，３６（２０） 基于ＦＰＧＡ的ＡＶＳ视频解码帧内预测的设计和实现 邹涛，杨秀芝，陈建 （福州大学福建省数字电视工程研究中心，福建福州３５０００２） 【摘 要】根据ＡＶＳ标准中帧内预测的算法，运用流水线设计方法，并合理安排缓冲存储器空间，利用ＦＰＧＡ实现了帧内预测系 统；然后将该设计的ＭｏｄｅｌＳｉｍ仿真结果与参考软件的解码输出进行了比较，结果表明本设计能够较好地完成帧内解码算法，方 便地嵌入到整体ＡＶＳ解码系统中。 【关键词】ＡＶＳ；视频解码；帧内预测；现场可编程门阵列 【中图分类号】ＴＮ９４１．１ 【文献标识码１ Ａ Ｄｅｓｉｇｎ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｉｎ ＡＶＳ Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ ＦＰＧＡ Ｚ０Ｕ Ｔａｏ，ＹＡＮＧ Ｘｉｕｚｈｉ，ＣＨＥＮ Ｊｉａｎ （Ｄｉｇｉｔａｌ ＴＶ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ，Ｆｕｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｆｕｚｈｏａ ３５０００２，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｎ ＡＶＳ ｓｔａｎｄａｒｄ，ｔｈｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｓｙｓｔｅｍ ｗｉｔｈ ｐｉｐｅｌｉｎｅ ｄｅｓｉｇｎ ｍｅｔｈｏｄ ａｎｄ ｒｅａｓｏｎａｂｌｅ ａｒｒａｎｇｅｍｅｎｔｓ ｏｆ ｃａｃｈｅ ＲＡＭ ｂａｓｅｄ ｏｎ ＦＰＧＡ ｉｓ ｄｅｓｉｇｎｅｄ ａｎｄ ｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｅｎ ｃｏｍｐａｒｉｎｇ ＭｏｄｅｌＳｉｍ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｗｉｔｈ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｓｏｆｔｗａｒｅ ｄｅｃｏｄｅｒ ｏｕｔｐｕｔ，ｉｔ ｓｈｏｗｓ ｔｈａｔ ｔｈｉｓ ｄｅｓｉｇｎ ｉｓ ａｂｌｅ ｔｏ ｃｏｍｐｌｅｔｅ ｔｈｅ ｆｌａｍｅ ｄｅｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ，ａｎｄ ｃａｎ ｅａｓｉｌｙ ｂｅ ｅｍｂｅｄｄｅｄ ｉｎｔｏ ｔｈｅ ｏｖｅｒａｌｌ ＡＶＳ ｄｅｃｏｄｉｎｇ ｓｙｓｔｅｍ． 【Ｋｅｙ ｗｏｒｄｓ】ＡＶＳ；ｖｉｄｅｏ ｄｅｃｏｄｉｎｇ；ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ；ＦＰＧＡ 近年来，数字视频技术的浪潮席卷全球。从 块又划分为几个８ｘ８的子块。ＡＶＳ采用了基于８ｘ８像素 ＭＰＥＧ一１／２／４，Ｈ．２６１／Ｈ．２６３，到Ｈ．２６４，ＡＶＣ和ＡＶＳ，一系列 块的帧内预测。预测时，使用与当前８ｘ８块相邻的已解 视频编码标准应运而生。其中，ＡＶＳ（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄ． 码得到的左方块、上方块、左上块、左下块和右上块中的 ｉｎｇ Ｓｔａｎｄａｒｄ）标准是我国具备自主知识产权的，包括系 相邻像素作为参考像素，计算出当前块的像素值。ＡＶＳ 统、视频、音频、媒体版权管理在内的一套完整的标准体 亮度和色度帧内预测分别有５种和４种模式。相比于 系。ＡＶＳ标准的第２部分“视频”已于２００６年３月通过信 Ｈ．２６４亮度块９种预测模式和色度块４种预测模式，帧内 息产业部认证，正式成为国家标准（编号为ＧＢ／ 预测模式选择的复杂度得到降低，而对性能影响不大 ，。 Ｔ２００９０．２—２００６） 】。ＡＶＳ具有技术方案简洁、实现复杂 ＡＶＳ标准中规定的帧内预测的过程如下 】： １）根据当前块相邻的左边块和上边块的帧内预测 度低、编码效率高等特点。基于ＡＶＳ标准的高清视频解 额专利费，具有明显的成本优势。 Ｈ．２６４和ＡＶＳ等第二代视频编码标准所采用的新技术， 码器既能拥有优异的性能，同时又能规避国外标准的高 模式，推导出当前块的最可能预测模式。再将该最可能 预测模式与码流传输来的参数做比较，获得当前块的最 ２）获取当前块的相邻解码块的参考样本值（图１所 帧内预测技术主要是对Ｉ帧图像进行压缩处理，是 佳预测模式。 是区别于之前标准的一个重要特征。ＡＶＳ采用空域内的 示方格１～１６）。若相邻块存在且已经解码，对应的参考 多方向帧内预测技术 ，可以有效地去除Ｉ帧图像的空间 样本值标记为“可用”，若相邻块不存在或尚未解码，则对 冗余，提高编码效率。 应的参考样本值标记为“不可用”。 ３）当前预测模式的不同，以及可供使用的参考样本 １ ＡＶＳ标准帧内预测算法 帧内预测可以概括为利用已知的像素值去预测未知 值数量的不同，使得当前块帧内预测值的算法有所不同。 其中，诸多模式的计算公式都包含形如（ｏ＋２６＋ｃ＋２）＞＞２的 ３抽头低通滤波运算单元。 的像素值。ＡＶＳ标准将一帧图像划分成若干个长与宽都 为１６个像素的宏块。根据色度格式不同，一个１６ｘ１６宏 基金项目：福建省教育厅资助省属高校科研专项（ＪＫ２０Ｏ９００１）：福州大学科技育苗基金资助项目（８２６８４８ｌ 投稿网址ｈｎＤ：／／ｖ哪ｗ．ＶｉｄｅｏＥ．ｃｎ Ｉ《电视技术》第３６卷第２０期（总第３９７期）４１ 硼Ｄ Ｔ ２．２预测模式获取 ■鞠敖蠢 ｉａＣｔ０ ＾口ｉｎ ｆ ｒｉｎ 在５种亮度块帧内预测模式和４种色度块帧内预测 左上块 上方块 右上块 模式中，ＤＣ模式、Ｈｏｒｉｚｏｎｔａｌ模式和Ｖｅｒｔｉｃａｌ模式是二者共 有的，其运算结构完全一致。因此，可以将预测模式获取 模块中的９种模式简化为６种模式。由于预测模式所需 的ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ等参数在码流中是按照块的顺序依次 传输的，因此采用时序电路来设计预测模式获取模块，将 Ｏ １ ２ ３ ４ ５ ６ ７ ８ ９Ｉ１０Ｉ１１Ｉ１２ｌ１３１１４ｌ１５１１６ １ ２ ３ 当前块 ３ 左方块 ４５６７８ １５ １６ ／． 运行所用时间隐藏在宏块头解码的时钟周期内。这样做 也同时规避了采用组合电路设计所造成的电路关键路径 过长、时钟频率降低的问题。 ２．３预测值计算 帧内预测值计算模块是整个帧内预测系统的核心部 左下块 １上１９Ｏ２３４ ＿’ ‘＼ 图１ ８ｘ８块的帧内预测模式 分。它从缓存ＲＡＭ中取出参考样本，采用不同的预测算 法计算出当前块内６４个像素点的预测值。对于大部分 模式都包含的３抽头滤波运算单元（ａ＋２ｂ＋ｃ＋２）＞＞２可以 用简单的加法和移位来构造，如图３所示。 ｂ ｌ ２ 帧内预测算法的实现 高性能的视频编解码标准和高清晰度的视频，对视 频处理硬件的实时性提出了更高的要求。而运用高效快 速的ＦＰＧＡ来设计视频解码的核心部分无疑是一个理 想的选择。因此本文基于ＦＰＧＡ来实现帧内预测系统。 ２．１系统结构 系统采用以块为单位的流水线结构，整体框图如图２ 所示，主要包括预测模式获取模块、预测值计算模块、重 图３ 三抽头滤波基本运算单元ＰＥ 建模块以及若干缓存ＲＡＭ。其中，预ｉ贝０模式获取模块通 过码流解析中得到的参数和当前宏块在整帧图像中的位 置，确定帧内预测模式；预测值计算模块又包含块计数控 制、Ｐｌａｎｅ模式计算阵列和基本运算单元阵列这３个部分， 整个模块在块计数的控制之下，根据之前确定的帧内预 以该滤波运算单元作为基本单元（Ｐｒｉｍａｒｙ Ｅｌｅｍｅｎｔ， ＰＥ），横向和纵向各采用８个ＰＥ单元，组成如图４所示的 运算阵列。参考样本依照图中编号，上方的参考样本０— ９作为横向８个ＰＥ单元的输入，左边的参考样本０～９作为 纵向８个ＰＥ单元的输入。用于寄存参考样本的寄存器 组ｒ０ ｒ９和ｃ０ ｃ９每个周期进行一次移位操作，将后续的 测模式，到参考样本值ＲＡＭ的指定地址处取出相邻块的 参考样本，放人基本运算单元阵列或Ｐｌａｎｅ模式计算阵列 中，计算出帧内预测值。重建模块负责将ＩＤＣＴ得到的残 差值和帧内预测值相加，从而还原出８ｘ８块的样本值，并 把８ｘ８块的最下一行和最右一行的像素存人参考样本值 ＲＡＭ中，供后续块解码使用。 参考样本移入寄存器，从而使所有可能参考样本都参与 计算。 团丑五巫巨固丑丑 ４２《电视技术》第３６卷第２ｏ期（总第３９７期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ＣＦＩ Ｄ ｌＧＩＴＡ数Ｌ字ＶＩ视ＤＥ频Ｏ ＿ 对于Ｈｏｒｉｚｏｎｔａｌ模式和Ｖｅｒｔｉｃａｌ模式，相对简单。只 要直接获取参考样本值，按横向或纵向赋值给当前块的 预测值即可。 ， 将其核心部分做拆分为 ｐｒｅｄＭａｔｒｉｘ［ｘ，），］＝Ｃｌｉｐ（（Ａ＋ｘｘｉｂ＋ｙｘｉｃ＋ｉｃ）＞＞５， ＝０，１，…，７ （２） 对于ＤＣ模式，当前块位于图像的不同位置，其可获 取的参考样本的数量也不同。若当前块只有上方的参考 式中，Ａ＝ｉａ＋（一３）×ｉｂ＋（一４）×ｉｃ＋１６，为一个常数值。 输人参考样本ｒ１～ｒ８和ｃ１～ｃ８，经组合逻辑运算得到 样本ｒＩ） ｒ９存在，则将其输入运算阵列得到ｏｕｔｒＯ～ｏｕｔｒ７即 为预测值；若当前块只有左方的参考样本ｃ０～ｃ９存在，则 将其输人运算阵列得到ｏｕｔｃ０～ｏｕｔｃ７即为预测值；若当前 块上方和左方参考样本都存在，则固定ｒ｛）～ｒ９不移位， 中间值Ａ，ｉｂ，ｉｃ。当前块的预测值分为８个周期输出，每 个周期输出一行，每行的预测值以 递增，每列的预测值 以ｉｃ递增，如图５所示。输出的值再经过限幅处理后，即 得到预测值。 Ａ＝（ 口＋（一３）ｘｉｂ＋（一４）ｘｉｃ＋１６） ｃ０～ｃ９则每个周期进行一次移位，每个周期都将ｏｕｔｃ０与 ｏｕｔｒ０～ｏｕｔｒ７分别做均值运算，得到ｏｕｔｄｃ０～ｏｕｔｄｃ７即为预 测值。若上方和左方参考样本都不存在，则预测值为常 数１２８。 对于Ｄｏｗｎ＿Ｌｅｆｔ模式，必须满足参考样本ｒｌ～ｒ１６和 ｃｌ—ｃ１６都存在。先将ｒｌ—ｒｌＯ和ｃｌ—ｃｌ０输入运算阵列，输 出ｏｕｔｄｌ０一ｏｕｔｄｌ７，并且每个周期对ｒｌ～ｒ１６和ｃｌ～ｃ１６都做 移位操作，每个周期得到的ｏｕｔｄｌ０一ｏｕｔｄｌ７即为预测值。 对于Ｄｏｗｎ—Ｒｉｇｈｔ模式，必须满足参考样本ｒ０～ｒ８和 ｃＯ～ｃ８都存在。先将ｒＯ（ｃＯ），ｒｌ，ｃｌ输入ＰＥ单元计算出一 个值ｏｕｔｍ４，同时将ｒｌ～ｒ８和ｃ１～ｃ８输入运算阵列，得到结 果ｏｕｔｒＯ—ｏｕｔｒ６和ｏｕｔｃ０～ｏｕｔｃ６。最后，每个周期对 ｏｕｔｃ０～ｏｕｔｃ６、ｏｕｔｍ４和ｏｕｔｒＯ～ｏｕｔｒ６做如下类型的移位操 作：ｏｕｒｃ６－ｏｕｔｅ １－－－￣｛ｏｕｔｅ０，ｏｕｔｍ４，ｏｕｔｒ０，ｏｕｔｒｌ，ｏｕｔｒ２，ｏｕｔｒ３， 图５ Ｐｌａｎｅ模式脉冲阵列 ３ 性能验证 本设计采用Ｖｅｒｉｌｏｇ语言进行编程，使用Ｍｏｄｅ１． ｏｕｔｒ４，ｏｕｔｒ５｝－－￣ｏｕｔｒ６，得到预测值。 对于Ｐｌａｎｅ模式，其运算最为复杂。本设计采用脉冲 阵列 来实现。Ｐｌａｎｅ模式中预测值可以表示为 Ｓｉｍ６．４ａ进行功能仿真，测试序列采用１ ９２０ｘ１ ０８０的高 清序列Ｅｐｓｏｎ＿１０８０ｐ．ｙｕｖ，将本文设计的帧内预测总体模 ｐｒｅｄＭａｔｒｉｘ［ｘ，Ｙ］＝ｃ２ （（ ＋（ 一３）×ｉｂ＋（Ｙ一３）× ｉｃ＋１６）＞＞５）， Ｙ＝０，１，…，７ 块配合之前的码流解析、反变换等模块，仿真结果如图６ （１） 所示 图６ ＭｏｄｅｌＳｉｍ仿真结果（截图） 图６中ｓｕｍ０～ｓｕｍ７即为重建后的８ｘ８块的像素值，将 该重建像素值与图７所示的由参考软件ＲＭ５２Ｊ解码出的 未加环路滤波的图像对比可知，二者完全相同。 ４ 小结 笔者采用ＦＰＧＡ硬件实现ＡＶＳ标准所述的帧内预测 算法，整体系统采用流水线设计方法，并合理安排缓存 投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｏｎ ｌ《电视技术》第３６卷第２ｏ期（总第３９７期）４３ Ｄ Ｔ ＲＡＭ的空间，节约了系统资源。该帧内预测模块能很好地衔接入整体的ＡＶＳ视频解码器的设计中。 ０１１ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００８．ｆＳ．Ｊ．］：ＩＥＥＥ Ｐｒｅｓｓ，２００８：２１１６—２１１９． ［４】ＧＢ／Ｔ ２００９０．２－－２００６，信息技术先进音视频编码第２部分：视频Ｉｎ— ｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｄｖａｎｃｅｄ ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ ａｎｄ ｖｉｄｅｏ—ｐａｒｔ ［ ］ 国产ＡＶ 获电信运营商支持【ＥＢ／ＯＬ］－［２０１２－０１－２０］・“ｔｔｐ：肌ｗｗ・ 罄 … 一 … ～ 姜伟．２：ｖｉｄｅＡｏ［ＶＳＳ］．解２０码０９器．帧内预测和环路滤波器硬件设计与卿 济 。。一 。～”……一…～…… …。 南：山东大 ，２ ｏ ．ｂａｓｅｄ ｉｎｔｒａ ｃ。ｄｉｎｇ【ｖｉｄｅ。ｃｏｄｉｎｇ］［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ。ｆ ｔｈｅ ２００４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉ。ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ。ｎ Ｍｕ１ｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ．ｆｓ．１．１：ＩＥＥＥ Ｐｒｅｓｓ，２００４：９７—１０Ｈ０． 作者简介： 邹 涛（１９８８一）・硕士生，主研ＡＶｓ视频解码及ＦＰＧＡ应用开发； 杨秀芝（１９６３一）・女－副教授，主研通信与信息系统； 陈建（１９８１一），女・讲师，主研信源编解码。 ［３］ ＹＡＮ Ｙ，ＫＡＲＣＺＥＷＩＣＺ Ｍ．Ｉｍｐｒｏｖｅｄ Ｈ．２６４ ｉｎｔｒａ ｃ。ｄｉｎｇ ｂａｓｅｄ。ｎ ｂｉ－ｄｉｒｅｅｆｉｏｎａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉ０ｎ。ｄｉｒｅｃｔｉｏｎａｌ ｌｒａｎｓｆ０ｒ『ＪＪ，ａｎｄ ａｄ印ｔｊｖｅ 责任编辑：薛 京 收稿日期：２Ｏ１２—０４一ｌ１ （上接第２６页） 基于标准接口服务，相对独立，每层可以 全、事务处理等，便于业务逻辑层的实 信息模型、业务功能及体系架构的设计 被独立地替换和扩展。通过这两种技术 现；Ｍｙｂａｔｉｓ３．１提供灵活的数据处理功能 和实现，籍此支撑有线网络运营商的三 的使用，便于ＢＯＳＳ系统的自身扩展和其 等，便于实现数据存储层的功能；ＪＢＰＭ 网融合业务（数据、语音、视频等）的运 他外部系统的集成。 ４．２ Ｊ２ＥＥ标准和ＲＣＰ技术 具有先进的流程管理功能，非常适合复 营。三网融合的发展对繁荣文化产业、 杂业务流程的定义及动态配置等。 提高国家信息化水平、促进工业化与信 息化融合具有重要的战略意义。 Ｊ２ＥＥ是成熟的工业标准，它为构建 ４．４企业级硬件和软件环境 具有可伸缩性、灵活性、易维护性的商业 在第三方硬件方面，采用ＳＵＮ硬件服 穗 系统提供了良好的保障机制。它支持高 秘 效开发、状态管理和异构环境等，是Ｗｅｂ 壤～ 系统实现的常用标准。ＲＣＰ是富客户端 它能与Ｊ２ＥＥ无缝整合，具有开发效 蠢 技术，率快、界面简洁美观和跨平台等特点。遵 务器、存储设备和思科的网络设备；在第三 参考文献：１】袁超伟，张金波，姚建波．三网融合的现 方软件方面，采用Ｓｏｌａｒｉｓ ｌＯ＋Ｏｒａｃｌｅ １ｌｇ＋ 【Ｗｅｂｌｏｇｉｃ １０。以上都是企业级的硬件和软 状与发展【Ｊ１．北京邮电大学学报，２０１０， ３３（６）：１－８． 件，从而确保系统具有高可用性和可靠性。 ［２］丁颐，王厚芹．中国三网融合回顾与总结 ｆＪ１．电视技术，２０１１，３５（１０）：５９—６２． ［３１ Ｔｈｅ ｔｅｌｅｍａｎａｇｅｍｅｎｔ ｆｏｒｕｍ（ＴＭＦ）［ＥＢ／ 循Ｊ２ＥＥ标准，同时采用ＲＣＰ技术，使得 ５结束语 ＢＯＳＳ系统可以同时支持浏览器和客户端 访问，便于ＢＯＳＳ系统部署和使用。 ４．３ ＴＳＭ编程技术和ＪＢＰＭ５引擎 ＴＳＭ（Ｔａｐｅｓｔｒｙ＋Ｓｐｎｎｇ＋Ｍｙｂａｔｉｓ）和 三网融合促进电信网、广播电视网、 合。在此背景下，传统的有线运营商将 面临激烈的市场竞争。为应对快速变化 的市场需求和提高自身的服务质量和水 ＯＬ］．［２０１２－０５－０２］．ｈｔｔｐ：／／ｗｗｗ．ｔｍｆｏｒｕｍ． ｏｒｇ・ 互联网的技术和业务互相渗透、互相融 【４１ ＲＥＩＬＬＹ Ｊ Ｐ，ＣＲＥＡＮＥＲ Ｍ Ｊ．ＮＧＯＳＳ ｄｉｓ－ ｔｉｌｌｅｄ：ｔｈｅ ｅｓｓｅｎｔｉａｌ ｇｕｉｄｅ ｔｏ ｎｅｘｔ ｇｅｎｅｒａ— ｔｉｏｎ ｔｅｌｅｃｏｍｓ ｍａｎａｇｅｍｅｎｔ［Ｍ］．【Ｓ．１．］：Ｃａｍ— ｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２００５． ＪＢＰＭ都是目前主流的Ｊａｖａ开发技术。 Ｔａｐｅｓｔｒｙ５．２，Ｓｐｒｉｎｇ３．１，Ｍｙｂａｔｉｓ３．１和ＪＢ— ［５］ＥＲＬ Ｔ．ＳＯＡ服务设计原则［Ｍ］．北京：科 学出版社，２０１２． 收稿日期：２０１２—０５—１８ 平，传统的有线网络运营商不得不加强 支撑业务发展的ＢＯＳＳ系统建设。本文 ＮＧＯＳＳ的三网融合下有线ＢＯＳＳ系统的 ＰＭ５都是目前最新的稳定版本。Ｔａｐｅｓ． 表示层的编程；Ｓｐｒｉｎｇ３．１提供完善的安 ｔｙｒ５．２具有丰富的页面标签和模板，便于 基于ＮＧＯＳＳ的框架体系，提出基于 责任编辑：薛京 ４４《电视技术》第３６卷第２０期【总第３９７期）ｌ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎ