OpenCV图片对齐问题

tv410356 7年前
   <p style="text-align:center"><img src="https://simg.open-open.com/show/c1097c7af09da22bddfc6ed41c660799.png"></p>    <h2>1.对齐问题是什么?</h2>    <p>要回答这个问题先搞清楚图片有哪些属性?</p>    <p><strong>1.1矩阵例子</strong></p>    <p>我们先结合Opencv的Mat类型看一个矩阵例子。高为8像素,宽为10像素,深度为5,像素类型为CV_16UC3的矩阵如下:</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/6cde327d0d569c45f4fbd63e734dd7f5.png"></p>    <p>Opencv的Mat类型有如下属性:</p>    <ul>     <li>size[i]:每一维元素的个数: 上图 是三维图片,第0维是Z轴,元素是“面”,有五个面所以 size[0]=5,同理第1维是Y轴,元素是“线”,size[1]=8,第2维是X轴,元素是“点”,size[2] =10</li>     <li>step[i]:每一维元素的大小,单位字节: 第2维元素是“点”,也就是CV_16UC3类型的像素点。其中C3表示每个像素点有3个channel(通道),16U表示每个通道有16bit也就是2Byte(字节)。综合起来每个像素点有 step[2] = Channels*Bytes = 3 * 2 = 6 个Byte(字节)。10个“点元素”组成第1维的“线”元素: step[1] = 10 * 6 = 60 Byte。8个“线元素”组成一个第0维的“面”元素:step[0] = 8*10*6=480 Byte。</li>     <li>step1(i): 每一维元素的通道数。第2维元素是”点“,有三个通道:step1(2) = channels = 3。第1维元素是”线“:step1(1) = 10*3 = 30。第0维元素是”面“:step1(0) = 8*10*3 = 240。</li>     <li>elemSize():每个元素大小,单位字节:元素就是CV_16UC3类型的像素点,6字节.</li>     <li>elemSize1():每个通道大小,单位字节:每个通道2字节。</li>    </ul>    <p>测试代码:</p>    <pre>  <code class="language-cpp">void Learn_Mat_Definiton()//测试一下step[]的各个维度大小    {            //////////////////Demo1(3维矩阵)///////////////////////////////////////////        printf("//////////////////////Demo1(3维矩阵)////////////////////////\n");        //最后面的两个数:(行,列),确定了一个面        //是一个依次降维的过程        //8,10组成了面,5个面,组成了立方体        int matSize[] = {5,8,10};//每一维元素的个数:8:行,10:列        Mat mat1(3,matSize, CV_16UC3, Scalar::all(0));            //求step[i]的大小:每一维元素的大小(单位字节)        printf("\n///////step[i]的大小//////////\n");        printf("step[0]:%d\n",mat1.step[0]);//480:面的大小(第一维)        printf("step[1]:%d\n",mat1.step[1]);//60:线的大小(第二维)        printf("step[2]:%d\n",mat1.step[2]);//6:点的大小(第三维)            //求size[i]:每一维元素的个数        printf("\n///////size[i]的大小///////\n");        printf("size[0]:%d\n",mat1.size[0]);//5:面        printf("size[1]:%d\n",mat1.size[1]);//8:线        printf("size[2]:%d\n",mat1.size[2]);//10:点            //求step1(i):每一维元素的通道数        printf("\n///////step1(i)的大小///////\n");        printf("step1(0):%d\n",mat1.step1(0));//240:面        printf("step1(1):%d\n",mat1.step1(1));//30:线        printf("step1(2):%d\n",mat1.step1(2));//3:点            //求elemSize:每个元素的大小(单位字节)        printf("\n///////elemSize的大小///////\n");        printf("elemSize:%d\n",mat1.elemSize());//6:每个元素的大小            //求elemSize1:每个通道的大小(单位字节)        printf("\n///////elemSize1的大小///////\n");        printf("elemSize1:%d\n",mat1.elemSize1());//2:每个通道的大小    }</code></pre>    <p>结果:</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/2ef4255af4ebc25c79e705875b5ab413.png"></p>    <p><strong>1.2一张图片示例</strong></p>    <pre>  <code class="language-cpp">void Test()    {                /////////////Demo2(512*512二维图像)///////////////////////////////        printf("\n\n///////////////////Demo2(512*512二维图像)//////////////////////////\n");        Mat mat2=imread("D:/Image/Color/Lena512.bmp",-1);//512*512的彩色Lena图                //step[i]        printf("\n///////step[i]的大小///////\n");        printf("step[0]:%d\n",mat2.step[0]);//1536:线        printf("step[1]:%d\n",mat2.step[1]);//3:点            //size[i]        printf("\n///////size[i]的大小///////\n");        printf("size[0]:%d\n",mat2.size[0]);//512:线        printf("size[1]:%d\n",mat2.size[1]);//512:点            //step1(i)        printf("\n///////step1(i)的大小///////\n");        printf("step1(0):%d\n",mat2.step1(0));//1536:第一维的通道数        printf("step1(1):%d\n",mat2.step1(1));//3:第二维的通道数            //elemSize        printf("\n///////elemSize的大小///////\n");        printf("elemSize:%d\n",mat2.elemSize());//3:每个元素的大小            //elemSize1        printf("\n///////elemSize1的大小///////\n");        printf("elemSize1:%d\n",mat2.elemSize1());//1:每个通道的大小,也就是单通道数据类型    }</code></pre>    <p style="text-align:center"><img src="https://simg.open-open.com/show/4490ae067879d16be5b56c4b92f090b0.png"></p>    <p>以上内容整理自: <a href="/misc/goto?guid=4959737023376779231" rel="nofollow,noindex"> OpenCV中Mat属性step,size,step1,elemSize,elemSize1 - QQ哥的专栏 </a></p>    <p>图片在计算机中一般是按行(row)存储。因此每行包含的字节数是一个很重要的概念(叫做widthStep)。它对应上面图片案例中的第0维度元素大小:step[0] = 512(宽为512个像素) * 3(每个像素包含3个通道)*1(每个通道1字节) = 1536。很多情况下要求这个值必须是4的倍数,即实现字节对齐,有利于提高运算速度。</p>    <h2>2.如何对齐?</h2>    <p>最简单的思路是计算widthStep并补齐为4的倍数。不过因为旧版本的Opencv提供了自动补齐。所以我们可以借助旧版本的接口得到旧版本图片类型(IplImage类型),然后转换为Mat类型(Mat类型操作更方便)。</p>    <p><strong>2.1 方法1 IplImage转Mat</strong></p>    <p>内容来自: <a href="/misc/goto?guid=4959737023466053342" rel="nofollow,noindex"> Mat和IplImage的4字节对齐问题 - 程序园 </a></p>    <p>Mat中的图像数据是不对齐的,而IplImage中的图像数据是4字节对齐的,所以在访问IplImage图像数据的时候,要特别注意widthStep这个属性,每行的字节数不是width*nchannels而是widthStep,因为每行可能会有字节填充。</p>    <pre>  <code class="language-cpp">//测试图片,9*7单通道灰度图CV_8UC1  void TestMat4ALigned()//测试Mat是否字节对齐  {      Mat mat=imread("D:/Image/Small/White.bmp",-1);   int widthStep_Mat=mat.step[0];//9     IplImage *iplImage=cvLoadImage("D:/Image/Small/White.bmp",-1);   int widthStep_Ipl=iplImage->widthStep;//12 包含补齐的3字节     int pixelCount=mat.cols*mat.rows;      //打印出Mat   uchar *imageData=mat.data;   printf("Mat\n");   for (int i=0;i<=pixelCount-1;++i)   {    printf("%d,",*imageData++);//挨个打印出来,没有填充的数据   }   printf("\n\n");      //打印出IplImage   uchar *imageData_Ipl=(uchar *)iplImage->imageData;   printf("IplImage\n");   for (int i=0;i<=pixelCount-1;++i)   {    printf("%d,",*imageData_Ipl++);//挨个打印出来,填充的数据   }   printf("\n\n");      ////////////////////////////IplImage转为Mat//////////////////////////////////////////////      //将字节对齐的IplImage转化为Mat,看看是否还是字节对齐   Mat ipl2Mat_True(iplImage,true);//拷贝数据   int withStep3=ipl2Mat_True.step[0];//9   uchar *imageData2=ipl2Mat_True.data;   printf("Mat ipl2Mat_True(iplImage,true)\n");   for (int i=0;i<=pixelCount-1;++i)   {    printf("%d,",*imageData2++);//挨个打印出来,填充的数据   }   printf("\n\n");        //将字节对齐的IplImage转化为Mat,看看是否还是字节对齐   Mat  ipl2Mat_false(iplImage,false);//修改为非拷贝数据   int withStep4=ipl2Mat_false.step[0];//12   uchar *imageData3=ipl2Mat_false.data;   printf("Mat ipl2Mat_false(iplImage,false)\n");   for (int i=0;i<=pixelCount-1;++i)   {    printf("%d,",*imageData3++);//挨个打印出来,填充的数据   }    }</code></pre>    <p style="text-align:center"><img src="https://simg.open-open.com/show/8f7edb4e164153f99adff00b2f774229.png"></p>    <p>其中IplImage中每行都会多出3个字节,因为IplImage4字节对齐,而Mat就不会存在这个问题。当将IplImage转为Mat的时候flag参数设置为false每行还是4字节对齐。</p>    <pre>  <code class="language-cpp">IplImage  iplImage;  Mat mat(iplImage,true);//拷贝数据,mat是非4字节对齐  Mat mat(iplImage,false);//不拷贝数据,mat是4字节对齐</code></pre>    <p><strong>注意点</strong> : 这里还有一个重要细节需要注意。调用旧版接口只会按照图片被调用时所设置的通道补齐。 例如: 输入图片是5(高)*6(宽),3通道,像素类型CV_8U3C的图片,调用IplImage* iplimg = cvLoadImage(imagepath)并转换为Mat类型。根据对齐原则: 6*3=18被 <strong>自动补齐</strong> 为20 (widthStep=20)。如果你此时需要把该三通道图片转为单通道灰度图使用:需要 <strong>手动</strong> 把6补齐为8(widthStep=8)。</p>    <p>为了解决这个棘手的问题,可以将图片宽度(单位:像素)设置为4的倍数。就不用担心通道转换所带来的问题了。我使用的代码如下:</p>    <pre>  <code class="language-cpp">IplImage* iplimg = cvLoadImage(imgPath.c_str());  cv::Mat frame = cv::Mat(iplimg, false); //cv::Mat(iplimg, true)是非字节对齐      int x = 0;  int y = 0;  int w = frame.cols + (4 - frame.cols%4); //宽度 + 待补充的像素数  int h = frame.rows;  extensionImage(frame, x, y, w, h);//自定义的扩展图片函数</code></pre>    <p><strong>2.2 方法2直接转换</strong></p>    <p>对齐公式:</p>    <p>内容来自: <a href="/misc/goto?guid=4959737023549175866" rel="nofollow,noindex"> 位图4字节对齐问题 - fujilove的专栏 </a></p>    <p>在自己对图像数据进行处理的时候,会有字节对其的问题,由于之前使用的图像大都是8bit或者是24bit,32bit的图像,使用的对其公式是(pixelwidth*channel+3)/4*4。后面也有看到有些写法如:(width * bitCounts + 31) / 32 * 4,不是很理解原理。在网上查找,发现有解释的非常透澈的,下面借来用用。</p>    <p>原文链接: <a href="/misc/goto?guid=4959737023629564400" rel="nofollow,noindex"> 位图4字节对齐问题 - niloc </a></p>    <p>1. 首先来自于这样一个公式:(width * bitCounts / 8 + 3) / 4 * 4,该公式含义比上面的公式要容易理解一些,比如biWidth * biBitCount代表了对齐前每行的总位数,位图有1位、2位、4位、8位、16位、24位、32位等,大于8位的都是8的倍数,所以biWidth * biBitCount / 8是对齐前的总字节数,要4字节对齐,除以4,看余数多少,不够多少补多少。而因为除以4的余数只能是0、1、2、3这四种情况,0就是刚好整除不需要再补,1、2、3分别需要补3、2、1个字节才能凑足4字节。那么 我们在除之前先补上3个字节会是什么情况呢,对于四种余数情形,分别是余3(3+0)、0(3+1)、1(3+2)、2(3+3),对于整数操作(width * bitCounts / 8 + 3) / 4得到的结果不会有余数,刚好达到了我们需要补足4字节的目的;另外再考虑能不能先补上别的数字,例如1、2,根据前面余数情况分析,补1会漏掉余数为1、2的情况,补2会漏掉余数为1的情况; 再考虑补上4或者更大数字的情况,余数为0的情形补4就多了4字节,数字再往上就更加多余,所以补上最大余数刚刚合适。</p>    <p>2. 上面的分析对于位宽大于等于8的位图已经正确,但小于8位的情况,width * bitCounts不一定是8的整数倍,所以我们先不要除以8,而是按照4字节等于32个bit位来计算,我们看看需要补多少位使得刚好32位对齐,那么就有公式:(width * bitCounts + n)/ 32 * 4 跟1中的分析方法相同,n应为32的最大余数31,所以得到最终公式:(width * bitCounts + 31)/ 32 * 4。</p>    <p>对齐代码:</p>    <p>内容来自: <a href="/misc/goto?guid=4959737023713363279" rel="nofollow,noindex"> OpenCV中cv::Mat字节对齐方法 - shaoxiaohu的专栏 </a></p>    <p>使用OpenCV过程中,cv::Mat比IplImage更容易操作,也符合C++使用者的习惯。但是一般Mat的数据并不是字节对齐的,对于需要字节对齐数据的函数(比如控件上的位图显示)来说,就会产生相应的问题。下面介绍将Mat数据转换为字节对齐的uchar数据的方法,以三通道图像为例,代码如下:</p>    <pre>  <code class="language-cpp">//  这里 frame 为三通道图像            cv::Mat roiImg;             frame.rowRange(frame.rows/2, frame.rows).                  colRange(frame.cols/4, frame.cols*3/4).                  copyTo(roiImg); // 提取ROI区域                int widthStep = (roiImg.cols*roiImg.elemSize()+3)/4*4; // 补齐行字节数,使它能够被4整除            uchar *frameData = (uchar *)calloc(roiImg.rows*widthStep, sizeof(uchar)); // 申请内存            memset(frameData, 0, roiImg.rows*widthStep);                // 逐一复制数据            uchar *p1, *p2;            for (int i = 0; i < roiImg.rows; i++)            {                p1 = roiImg.data + i*roiImg.cols*roiImg.channels();                p2 =  frameData + i * widthStep;                for (int j = 0; j < roiImg.cols; j++)                {                    *(p2) = *(p1);                    *(p2+1) = *(p1+1);                    *(p2+2) = *(p1+2);                          p1 += 3;                    p2 += 3;                }            }</code></pre>    <p>附加说明:</p>    <p>1、对应IplImage的cvLoadImage函数加载的图片数据是字节对齐的,而直接将cv::Mat转换为IplImage类型,并不会将字节对齐,只是加了个文件头而已。</p>    <p>2、我在写代码的过程中,还发现另一个问题(与主题无关),提取ROI区域时,如果采用:</p>    <pre>  <code class="language-cpp">cv::Mat roiImg = frame(cv::Rect(10, 10, 50, 50));</code></pre>    <p>这样的拷贝为浅拷贝,对后续采用指针引用逐个复制数据的过程中,实际访问的是原frame的数据。roiImg的许多参数都仍为frame的参数,并没有相应的改变,容易引发错误。这里还是采用copyTo这样的深拷贝比较稳妥。这是实验过程中发现的问题,也困扰了我很长时间。记录下来,以防下次出错。</p>    <h2>参考:</h2>    <ul>     <li><a href="/misc/goto?guid=4959737023466053342" rel="nofollow,noindex">Mat和IplImage的4字节对齐问题 </a></li>     <li><a href="/misc/goto?guid=4959737023713363279" rel="nofollow,noindex">OpenCV中cv::Mat字节对齐方法 - shaoxiaohu的专栏 </a></li>     <li><a href="/misc/goto?guid=4959737023376779231" rel="nofollow,noindex">OpenCV中Mat属性step,size,step1,elemSize,elemSize1 - QQ哥的专栏 </a></li>     <li><a href="/misc/goto?guid=4959737023549175866" rel="nofollow,noindex">位图4字节对齐问题 - fujilove的专栏 </a></li>     <li><a href="/misc/goto?guid=4959737023850171070" rel="nofollow,noindex">位图4字节对齐问题 - niloc </a></li>    </ul>    <p> </p>    <p>来自:https://zhuanlan.zhihu.com/p/25213142</p>    <p> </p>