相似图片搜索的原理

fmms 10年前
     上个月,Google把    <a href="/misc/goto?guid=4958196012817517557" target="_blank">"相似图片搜索"</a>正式放上了首页。    <p> 你可以用一张图片,搜索互联网上所有与它相似的图片。点击<a href="/misc/goto?guid=4958196013567208084" target="_blank">搜索框</a>中照相机的图标。</p>    <p><img style="display:block;margin-left:auto;margin-right:auto;" alt="" src="https://simg.open-open.com/show/d847bf33ffdf98fb5e289435fb5ad131.png" /> 一个对话框会出现。</p>    <p><img style="display:block;margin-left:auto;margin-right:auto;" alt="" src="https://simg.open-open.com/show/6eaf3afdb553180fcfd3b948d54b722f.png" /> 你输入网片的网址,或者直接上传图片,Google就会找出与其相似的图片。下面这张图片是美国女演员Alyson Hannigan。</p>    <p><img style="display:block;margin-left:auto;margin-right:auto;" alt="" src="https://simg.open-open.com/show/c5c07bd19d6a01def7a8920a805b5376.jpg" /> 上传后,Google返回如下结果:</p>    <p><img style="display:block;margin-left:auto;margin-right:auto;" alt="" src="https://simg.open-open.com/show/fec02551342f0b0d31e855d9f222b98a.jpg" /> 类似的"相似图片搜索引擎"还有不少,<a href="/misc/goto?guid=4958196014310695832" target="_blank">TinEye</a>甚至可以找出照片的拍摄背景。</p>    <p><img style="display:block;margin-left:auto;margin-right:auto;" alt="" src="https://simg.open-open.com/show/b53ebb0ed2851bb881a81f3e9d8c9958.jpg" /> 这种技术的原理是什么?计算机怎么知道两张图片相似呢?</p>    <p> 根据<a href="/misc/goto?guid=4958196015045340148" target="_blank">Neal Krawetz</a>博士的解释,原理非常简单易懂。我们可以用一个快速算法,就达到基本的效果。</p>    <p> 这里的关键技术叫做"感知哈希算法"(Perceptual hash algorithm),它的作用是对每张图片生成一个"指纹"(fingerprint)字符串,然后比较不同图片的指纹。结果越接近,就说明图片越相似。</p>    <p> 下面是一个最简单的实现:</p>    <p><strong> 第一步,缩小尺寸。</strong></p>    <p> 将图片缩小到8x8的尺寸,总共64个像素。这一步的作用是去除图片的细节,只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。</p>    <p style="text-align:center;"><img alt="" src="https://simg.open-open.com/show/915fb2ca7373490fb7efc71fba425c4b.png" /> <img alt="" src="https://simg.open-open.com/show/915fb2ca7373490fb7efc71fba425c4b.png" width="64" height="64" /></p>    <p><strong> 第二步,简化色彩。</strong></p>    <p> 将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。</p>    <p><strong> 第三步,计算平均值。</strong></p>    <p> 计算所有64个像素的灰度平均值。</p>    <p><strong> 第四步,比较像素的灰度。</strong></p>    <p> 将每个像素的灰度,与平均值进行比较。大于或等于平均值,记为1;小于平均值,记为0。</p>    <p><strong> 第五步,计算哈希值。</strong></p>    <p> 将上一步的比较结果,组合在一起,就构成了一个64位的整数,这就是这张图片的指纹。组合的次序并不重要,只要保证所有图片都采用同样次序就行了。</p>    <p style="text-align:center;">  <img alt="" src="https://simg.open-open.com/show/c7e3df34320049a1b2d411b0af8aa1e1.png" />= <img alt="" src="https://simg.open-open.com/show/c7e3df34320049a1b2d411b0af8aa1e1.png" width="64" height="64" /> = 8f373714acfcf4d0</p>    <p> 得到指纹以后,就可以对比不同的图片,看看64位中有多少位是不一样的。在理论上,这等同于计算<a href="/misc/goto?guid=4958196015777089784" target="_blank">"汉明距离"</a>(Hamming distance)。如果不相同的数据位不超过5,就说明两张图片很相似;如果大于10,就说明这是两张不同的图片。</p>    <p> 具体的代码实现,可以参见<a href="/misc/goto?guid=4958196016517623970" target="_blank">Wote</a>用python语言写的<a href="/misc/goto?guid=4958196017246233964" target="_blank">imgHash.py</a>。代码很短,只有53行。使用的时候,第一个参数是基准图片,第二个参数是用来比较的其他图片所在的目录,返回结果是两张图片之间不相同的数据位数量(汉明距离)。</p>    <p> 这种算法的优点是简单快速,不受图片大小缩放的影响,缺点是图片的内容不能变更。如果在图片上加几个文字,它就认不出来了。所以,它的最佳用途是根据缩略图,找出原图。</p>    <p> 实际应用中,往往采用更强大的<a href="/misc/goto?guid=4958196017995802480" target="_blank">pHash</a>算法和<a href="/misc/goto?guid=4958196018732291708" target="_blank">SIFT</a>算法,它们能够识别图片的变形。只要变形程度不超过25%,它们就能匹配原图。这些算法虽然更复杂,但是原理与上面的简便算法是一样的,就是先将图片转化成Hash字符串,然后再进行比较。</p>