HM学习笔记来自博客.doc

HEVC学习（二） —— HM的整体结构及一些基本概念
7个工程
1. TAppCommon
2. TAppDecoder
3. TAppEncoder
4. TlibCommon
5. TLibDecoder
6. TLibEncoder
7. TLibVideoIO
'T'代表'Test'（这一个的理解可能有误），'App'代表'Application'，表明该工程主要包含一些应用函数'Lib'代表'Library'，表明该工程主要包含一些库函数。'Common'表明该工程包含的一些函数是编码器和解码器共用的，'Decoder'表明该工程包含的函数是解码器使用的，而'Encoder'表明该工程包含的函数是编码器使用的。'VideoIO'工程主要是实现对YUV文件的读写操作。
编码器和解码器的主函数分别在encmain.cpp和decmain.cpp中，相信光看源文件名都能看出来了。
（1） 类的命名：
（2） 变量的命名：
（3） 函数的命名：
HEVC学习（三） —— 帧内预测系列之一
fillReferenceSamples函数（填补当前PU周围相关的样本值）——Void TComPattern::fillReferenceSamples
——图像2（左上角为4个像素点，如无强调则以块为单位计算长度等？）
PS：此处有两块图像：重建的YUV的大图像1、相对应的专用于预测的PU及其周边的参考样点图像2
 Pel* piRoiTemp——指向重建Yuv图像1 的位置（临时使用，指向可随意变动）
Pel* piRoiOrigin——指向重建Yuv图像1对应于当前PU所在位置的首地址（对当前PU固定）
Int* piAdiTemp——图像2 的感兴趣位置（变动的，用于赋值）
iPicStride  ——重建YUV图像1的宽
iNumIntraNeighbor——指示PU周边可用邻块数
uiWidth= uiCuWidth*2+1——图像2的宽，uiHeight= uiCuHeight*2+1——图像2的高
uiCuWidth ——图像2的CurrentPU部分的宽，uiCuHeight——图像2的CurrentPU部分的高
iTotalSamples——总样点数
iTotalUnits——以4x4块为单位的块数
iUnitSize——块的大小
主要功能是在真正进行帧内预测之前，使用重建后的Yuv图像对当前PU（Predict Unit预测单元）的相邻样点进行赋值，为接下来进行的角度预测提供参考样点值。
PS：关于一个PU的相邻点，以及它的相邻点的可用性如何判断的问题，是一个细节问题，并不会影响我们对这个函数实现功能的理解。
PS：reference samples are partially available  部分没看，也看不懂
每个4x4块里的4个样点分别被赋值为对应位置的重建Yuv的样点值？（4*4块中不是16个样点吗）
HEVC学习（四） —— 帧内预测系列之二
CU、PU地址计算方法
光栅扫描，即从左往右，由上往下，先扫描完一行，再移至下一行起始位置继续扫描。H.264使用的主要就是光栅扫描顺序。HEVC里同样也有光栅扫描顺序，但是，由于它对CU采用的是递归划分的方式，如果仍是采用光栅扫描顺序，对CU的寻址会很不方便。
HEVC定义了Z扫描顺序

Z扫描是针对一个CU来说的，它是用 于递归扫描CU的分割。定位一幅图像中的一个CU（或其分割）大致是这么个过程，首先，由于CU的尺寸的最大值是已知的，会根据这个定位到该CU左上角相 对于图像左上角的位置，即得到它的坐标，接着，才是对当前块进行Z扫描，单位是4x4块，换句话说，Z扫描地址是对一个CU有效的，不能直接使用这个地址 来确定它在图像中的位置。
HEVC学习（五） —— 帧内预测系列之三
initAdiPattern函数（预测的前期准备，得到PU的过程）——Void TComPattern::initAdiPattern
获得iNumIntraNeighbor、bNeighborFlags等——将参数传入（一）中的fillReferenceSamples函数赋值——对周围样点进行3抽头的平滑滤波
主要功能有三个
（1）检测当前PU的相邻样点包括左上、上、右上、左、左下邻域样点值的可用性，或者说检查这些点是否存在；
（2）参考样点的替换过程；（二）中已介绍过
（3）相邻样点即参考样点的平滑滤波。
Bool  bNeighborFlags[4 * MAX_NUM_SPU_W + 1]——指示4个方向上相邻样点值的可用性
piAdiBuf= piAdiTemp
iNumUnitsInCu  = uiCuWidth / iUnitSize; ——CurrentPU宽（以块为单位，暂时理解4*4块宽4）
iTotalUnits    = (iNumUnitsInCu << 2) + 1——左下、左、上、右上、1左上角
isAboveAvailable函数——计算返回左边可用邻块数
Int iBufSize =uiCuHeight2 + uiCuWidth2 + 1;——滤波缓存区的大小，相邻块的个数
 UInt uiWH= uiWidth * uiHeight——一个缓存区中的元素个数，图像2中块的总总个数
piAdiBuf——指向滤波前的参考样点的首地址
piFilterBuf——将piAdiBuf所有参考样点拷贝到此区域——经过滤波后所得值保存在
piFilterBufN中——存放滤波后样点值的区域
piFilterBuf1 ——经过滤波的样点值（与piAdiBuf相差uiWH，因为滤波前后的值顺序存放）
存放顺序：piAdiBuf—大小uiWH—piFilterBuf1—uiWH—piFilteredBuf2—uiWH—piFilterBuf—iBufSize（周边样本块数，只有这些才参与滤波）—piFilterBufN
PS：piAdiBuf、piFilterBuf1 按照图像顺序存放，piFilterBuf、piFilterBufN将周边样点顺序存放，方便滤波
Q： 获取当前PU左上角LT，右上角RT以及左下角LB 以4x4块为单位的Zorder  ？不懂
HEVC参考软件代码总结
1.编码器程序从"TAppEncoder"工程中的encmain.cpp文件开始的，此文件中包含程序运行的入口函数"main"，在main函数中主要做了编码器对象的创建、分析配置文件，初始化配置参数，和编码器最重要的功能"encode"。
2.在"encode"函数中，主要实现了读取YUV文件的数据、初始化工具对象例如：GOPEncoder、SliceEncoder、CUEncder……。在此函数里，还包括一个encode函数，调用CompressGOP函数来具体执行编码任务。
3.在CompressGOP函数中，完成了以下的功能：
 一，InitGOP将文件的码流分成若干GOP以便后续程序能够顺利执行。
  二，InitEncSlice创建编码的Slice。
  三，在此函数中，还包括preCompressSlice和CompressSlice两个函数，前者的作用是选择不同的lamuda进行编码（编码是调用了CompressCU函数，后续介绍），后者是在最好的lamuda下进行编码。
  四，循环滤波
  五，……（熵编码等，还没看）。
4.在xCompressCU函数中（CompressCU函数的主体也是调用xComprssCU函数），先进行帧间预测xCheckRDCostMerge2Nx2N，xCheckRDCostInter等。在做完帧间预测后进行阵内预测，这是调用的函数是xCheckRDCostIntra，在xCompressCU函数的后续部分，还递归调用自身以实现对每个CU的编码。变换编码在encodeCoeff中实现，量化在xCheckIntraPCM完成。
5.xCheckRDCostIntra函数，主要完成帧内预测的任务，对亮度的预测使用estIntraPredQT，对色度使用estIntraPredChromaQT。
6.estIntraPredQT函数，在思想对亮度的处理和色度的处理是一样的，所以只介绍亮度的处理函数。在estIntraPredQT函数中，主要完成了RDCost的选择，在其中predIntraLumaAng函数实现了方向的预测；calcHAD函数计算了SATD；xModeBitsIntra函数计算编码的码率；xUpdateCandList更新了最好的RDCost所使用的模式。
HEVC学习（六） —— 帧内预测系列之四
实现亮度分量帧内预测的主函数的大体框架
estIntraPredQT函数（实现亮度分量帧内预测）——

HEVC学习（七） —— 帧内预测系列之五
predIntraLumaAng函数——Void TComPrediction:: predIntraLumaAng
帧内预测的最为重要的函数之一predIntraLumaAng
1. getPreditorPtr函数——Int* TComPattern::getPredictorPtr
Int *ptrSrc——获得指向参考样点首地址的指针
数组m_aucIntraFilter——里面存放了不同PU尺寸下滤波的阈值
getAdiOrgBuf函数——返回指向未经滤波的参考样点的首地址
sw = 2 * iWidth + 1？（ptrSrc指向的是当前PU的左上邻点，故加上2*iWidth指向下一行即当前PU的左邻点，加1指向当前PU的首地址  ）
PS：若帧内预测模式满足滤波的条件 ，则返回的指针要加上uiWH（详见（五））
2. 根据帧内预测模式调用以下函数
xPredIntraPlanar函数——进行Intra_Planar模式预测
xPredIntraAng函数——进行Intra_DC、Intra_Angular（有角度的）模式预测
3. xDCPredFiltering函数——Void TComPrediction::xDCPredFiltering
xDCPredFiltering( ptrSrc+sw+1, sw, pDst, uiStride, iWidth, iHeight)——sw = 2 * iWidth + 1？
xDCPredFiltering( Int* pSrc, Int iSrcStride, Pel*& rpDst, Int iDstStride, Int iWidth, Int iHeight ) 
对Intra_DC模式的边界进行平滑滤波处理。
Int iSrcStride——预测模块的
Int* pSrc=ptrSrc+sw+1——ptrSrc指向当前PU的左上邻点，指向当前PU的首地址，
Q？：第一行的点，利用对应上邻点与其加权平均 （不是与dcValue吗？）
HEVC/H.265参考代码跟踪
跟踪帧内预测：
4.在xCompressCU函数中（CompressCU函数的主体也是调用xComprssCU函数），先进行帧间预测xCheckRDCostMerge2Nx2N，xCheckRDCostInter等。在做完帧间预测后进行帧内预测，这是调用的函数是xCheckRDCostIntra，在xCompressCU函数的后续部分，还递归调用自身以实现对每个CU的编码。变换编码在encodeCoeff中实现，量化在xCheckIntraPCM完成。
5.xCheckRDCostIntra函数，主要完成帧内预测的任务，对亮度的预测使用estIntraPredQT，对色度使用estIntraPredChromaQT。
6.estIntraPredQT函数，在思想对亮度的处理和色度的处理是一样的，所以只介绍亮度的处理函数。在estIntraPredQT函数中，主要完成了RDCost的选择，在其中predIntraLumaAng函数实现了方向的预测；calcHAD函数计算了SATD；xModeBitsIntra函数计算编码的码率；xUpdateCandList更新了最好的RDCost所使用的模式。
HEVC学习（八） —— 以SAO为例浅析跟踪代码方法
寻找到SAO真正实现功能的代码处
HEVC学习（九） —— 帧内预测系列之六
xPredIntraPlanar函数——Void TComPrediction::xPredIntraPlanar
进行Intra_Planar模式预测（对于代码中的某些公式并未深究）
UInt blkSize = offset2D=width——图像2中CurrentPU的宽度
srcStride——图像2的宽
topRow[k]=  = pSrc[k-srcStride]——存放上边界那一行的数组
leftColumn[k]= pSrc[k*srcStride-1]——存放左边界那一列的数组
1位置的值等于其上面的点的值
Q？： UInt shift1D = g_aucConvertToBit[ width ] + 2是什么鬼？
Q？：horPred = leftColumn[k] + offset2D;？为什么要加offset2D？
Q？：topRow[k]      <<= shift1D;？
HEVC学习（十一） —— 帧内预测系列之七
xPredIntraAng函数——Void TComPrediction::xPredIntraAng
进行Intra_DC、Intra_Angular（有角度的）模式预测
Int blkSize        = width;   //!< 当前PU的宽度  
Pel* pDst          = rpDst;   //!< 指向预测样点区域首地址  
Bool modeDC  = dirMode < 2——DC模式为1，若是DC模式则modeDC为真
Bool modeHor= !modeDC && (dirMode < 18)——modeDC为假且dirMode<18，则为水平模式
Bool modeVer       = !modeDC && !modeHor——垂直模式为真
Int intraPredAngle——角度偏移值
PS：未看完

帧内预测过程：
1. 判断当前TU相邻参考像素的可用性，并进行相应的处理
2. 对参考像素进行三抽头滤波
3. 根据滤波后的参考像素计算当前TU的预测像素值

HEVC学习（十） —— 与变换有关的几个主要函数及重要变量
在xCompressCU函数中，有这么几个函数值得我们注意的，xCheckRDCostInter、xCheckRDCostMerge2Nx2N、xCheckRDCostIntra。 它们分别是实现帧间预测模式、Merge模式、帧内预测式的主函数。前两个函数的子函数xEstimateResidualQT（实际上通过调用函数 encodeResAndCalcRdInterCU）、第三个函数的子函数xRecurIntraCodingQT（实际上通过调用 xIntraCodingLumaBlk、xIntraCodingChromaBlk）均会调用函数transformNxN。
函数transformNxN这个函数主要调用了xTransformSkip、xT、xQuant三个函数，分别实现对残差进行TS(Transform Skip)模式、普通变换模式以及量化的功能。对于第二个函数xT来说，它调用了xTrNxN。
xTrNxN函数对帧内预测模式的4x4块进行DST变换，其余的根据块大小分别做蝶形快速变换（4x4，8x8，16x16，32x32）

HEVC学习（十二） —— CU的最终划分
CU是递归划分的，导致在寻找确定最佳分割位置时比较困难。
参考encodeCU这个函数的实现，因为它是最终将信息编码成码流的函数。该函数调用的是xEncodeCU来完成实际工作，其中调用了Void TEncEntropy::encodeSplitFlag函数（用于编码CU分割信息的函数）——其中又调用了codeSplitFlag( pcCU, uiAbsPartIdx, uiDepth )函数——其中有代码UInt uiCurrSplitFlag = ( pcCU->getDepth( uiAbsPartIdx ) > uiDepth ) ? 1 : 0; 
通过判断pcCU->getDepth( uiAbsPartIdx )是否大于uiDepth来确定当前CU是否还要继续分割，后者我们知道，是当前CU的深度，那么前者呢？自然就是在xCompressCU中确定下来的当前CU的最佳分割模式。
对compressCU的参数pcCU进行类似语句: pcCU->getDepth( uiAbsPartIdx )，即可获得Z order为uiAbsPartIdx的4x4块的深度，如果把整个CU每个4x4块的深度确定下来，那么它的划分自然也就确定下来了。
HEVC中SAO--自适应样点补偿 详细分析解读
SAO原理:
    SAO是在DB之后进行, 输入是重建帧和原始帧数据, 输出是SAO数据和SAO后的重建帧. 自适应样点补偿是一个自适应选择过程，在去块滤波后进行。
下面是整个HEVC的编码框图, 可以看到SAO是在整个帧编码完成后得到重建帧后进行的,属于Slice级别(帧级).
首先把Frame划分为若干LCU, 然后对每个LCU中每个像素进行SAO操作.将根据其LCU像素特征选择一种像素补偿方式，以减少源图像与重构图像之间的失真。自适应样点补偿方式分为带状补偿（Band Offset，BO）和边缘补偿（Edge Offset，EO）两大类。
带状补偿将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的补偿值。进行补偿时根据重构像素点所处的条带，选择相应的带状补偿值进行补偿。
    边缘补偿主要用于对图像的轮廓进行补偿。它将当前像素点值与相邻的2个像素值进行对比，用于比较的2个相邻像素可以在下图中所示的4种模板中选择，从而得到该像素点的类型。解码端根据码流中标示的像素点的类型信息进行相应的补偿校正。
SAO--自适应样点补偿意义何在:
     SAO意义:
大 量模拟测试和资料显示, SAO平均可以节约2%到6%的码率, 而编解码的复杂度只增加2%左右!SAO主要目的和操作原理减少源图像与重构图像之间的失真。如果只看这点,实际上每帧编码后的码率反而会增加,因为多了 SAO的相关语法和语义以及补偿值的编码!其实不然,虽然当前帧的码率增加了几个字节或者几个bit, 但是这点增加码字使得源图像与重构图像的失真减少,使接下来的预测残差更小了,从而大大的降低码率了!
HEVC学习（十三）~（十六） —— SAO函数解析之一 ~四
HEVC学习（十七）~（十九） —— NAL unit 的解码过程之一
HEVC学习（二十） —— 熵编码之一
Void TAppEncTop::encode(){初始化% // main encoder loop% // allocate original YUV buffer% // call encoding function for one frame}——
调用Void TEncTop::encode（初始化、计算图像特征数据）// compute image characteristics// compress field 0 // compress GOP——
// call encoding function for one frame
调用Void TEncGOP::compressGOP——
// write bistream to file if necessary
// delete buffer

HM15.0结构
TAppCommon和TlibCommon中的函数是编解码公用的应用函数和库函数
'VideoIO'工程主要是实现对YUV文件的读写操作。
从TappEncoder中的encmain.cpp中的main函数开始编码，调用TlibEncoder项目中的函数，最后输出编码所用时间。
从TappDecoder中的decmain.cpp中的main函数开始解码，调用TlibDecoder项目中的函数，最后输出解码所用时间。

这个是H264到H265的转码，我做的是一进二出。。，你先看看结构吧