李彦宏会赏花:“88年美女博士+视觉搜索”花

jopen 11年前

李彦宏会赏花:“88年美女博士+视觉搜索”花

        在百度第五届 Hackathon(百度内部编程马拉松)上, 李彦宏一如既往地参与点评。据百度内部同学爆料,这次李彦宏尤其被一个美女博士领衔的学生团队“赏花宝典”应用所吸引。

        88 年美女博士与“赏花宝典”

        据百度同学说本次 Hackathon 是首次对外开放,有 6 支校园高手组队参加 Hackathon。其中一支名为 TAGroup 的校园代表队 leader 是 88 年美女博士古晓艳,目前在中科院计算所读大数据方向的博士。

        通过主动争取李彦宏的注意,这个团队的 Demo(原型)吸引了李彦宏。这个 Demo 被命名为“赏花宝典”。基于手机拍照实现花卉识别,主动提示百度百科内容;同时还可智能推荐赏花地、导航信息,并引入百度贴吧,方便花友们交流。在百度最 大的会议室“五福”,李彦宏详细了解他们的 Demo,与四名学生相谈甚欢,主要探讨的是技术问题。这个学生团队最终也摘得“黑马奖”。

        记得在 2013 年极客公园大会上,李彦宏坦言自己爱好上网,他没说的是,自己还喜欢花草。据说李彦宏最喜欢逛的贴吧不是“李彦宏吧”,而是“白皮松吧”、“植物吧”等等。除了在自家花园种植外,李彦宏连去国外出差也不忘抽空网购植物。

        Robin 酷爱花草,这在百度内部已经不是秘密。或许是因为这个,李彦宏被“赏花宝典”吸引。

        还有一个原因可能是,“赏花宝典”与百度正在攻坚的“视觉搜索”有紧密联系,这是一项面向未来但又复杂浩大的工程。

        随着百度魔图凭“PK 大咖”功能迅速走红,百度在人脸识别技术的进展获得业界关注。与此相似,“识花应用”也是“视觉搜索”的一种,视觉搜索更直白地说是“以图搜图”。几个月前我曾进行过分析,认为“视觉搜索”是移动搜索的未来。

        百度 Hackathon 鼓励天马行空,更鼓励解决实际问题。因此,每次产生的上百个创意产品或者半成品,除了要本身创意足外,还要考虑、实用性强,以便参赛成果真正转换为产品, 或为产品所用。比如这个识花应用,就可能在进一步突破之后,纳入百度 APP 的移动搜索当中。

        视觉搜索的难点

        见微知著,“赏花宝典”虽然是个技术 demo,却也集中体现了未来视觉搜索技术发展需要解决的问题。

        1.  识别准确率

        视觉搜索在对平面或刚体(书籍、CD、建筑物、油画、明星照片等不易变形的物体)的搜索方面,召回率(反映搜索引擎查得全不全的技术指标)已超过 90%;但对“非刚体”的柔性图像(比如动物、衣服、环境)的识别,就对机器算法有更高的要求。

        鲜花属于与动物类似的“非刚性”图像。如果再将范围扩大到植物,识别难度会更大。鲜花之间的区别除了形状,还有大小、色彩甚至细节。据了解, “赏花宝典”目前支持 20 多类花卉识别,种类不算多,召回率可以接受,但距离百度正式上线的视觉搜索项目还有不小差距,当然,作为 24 小时优化的成果,这已经是非常赞的成绩了。

        目前识别率较高的垂直领域,很多都已成为视觉搜索的切入口。例如条码、二维码、人脸、图书、CD 封面,这些在 iOS 版的手机百度 APP 中都已经作为标配置入了。但这也是垂直品类的细分,生活中的物品千千万,类别是无法穷举的。水果、盆景、树木、昆虫等领域都得一个个分别来,百度的程序猿 们也必须得根据使用率来排个优先级,否则从此就可以不用睡觉了。

        2.大数据与海量计算

        图像识别需要云端积累的海量数据。百度魔图的明星脸识别之所以能运转,最基础的是百度拥拥有海量的明星图片库。“赏花宝典”4 人团队中,也有一个成员是专门负责获取花卉图片库。

        在视觉搜索的服务器端,数据被聚类提取特征。形成“长这样的是什么”的规律,搜索引擎在获得用户上传的图片并提取出特征后,通过比对来了解这个图片的意义。数据越多,规律越准确越细,识别准确率越高。

        从数据信息提取出规律并形成知识,这是“深度学习”技术在做的事情。也就是说,机器像人脑一样思考,自动从海量数据中找出规律来,整个过程中自我完善。有些需要人工纠正干预,有些干脆就是无监督学习。

        百度在深度学习方面布局很早,延揽人才之手早已伸向硅谷腹地,国家千人计划学者余凯、非死book 前资深科学家徐伟、新泽西州立大学统计学教授张潼,均被李彦宏招至麾下。深度学习也不是万能的,要有计算能力和大数据做基础,没有这两样,一切都是空谈。 好在,百度这两样都有。

        3.理解用户意图

        视觉搜索当前的流程是上传一张图片,搜索引擎返回结果。这个信息输入往往是不够的。仅仅通过一张图片便知道用户的搜索意图,除了特别信息特别明确的图片,这几乎是机器现阶段难以完成的任务。

        视觉搜索目前的处理逻辑有三种:第一种是默认用户要搜索的是:这张图片是什么?例如宠物狗搜索;第二种是只返回相似图片,不提供具体信息,例如 百度 PC 端的图片搜索;第三种是在特定领域提供个性化信息——图书、CD 封面和条形码是比价,“PK 大咔”是比对明星脸,赏花宝典则进一步提供社交、知道、百科信息。但这三种都还是“猜测搜索意图”。而不是理解用户搜索意图。

        如何通过识别图片,进而理解用户搜索意图是当前的难点。这与语音搜索遇到的困难类似,语音转换为文字已经相对成熟,但人机对话目前依然停留在很初级的阶段。这也需要深度学习来解决。只有期望深度学习继续带来惊喜了。

        视觉搜索的趋势

        1.与可穿戴设备结合:手机当然是目前使用起来最自然的,可也不能忘了 Google Glass,它让拍摄-上传-搜索的流程更加顺畅,百度内部也在加强百度眼镜工程版的调试。不仅如此,后期一定还会出现比眼镜更隐形、便捷的设备。

        2.与语音搜索结合:与人交谈时,我们同时向对方传递视觉信息和声音信 息。因此要解决视觉搜索的“一张图无法表明搜索意图”的问题,或许需要与语音搜索结合。例如拍摄菜市场的蔬菜上传时,可以语音问这是什么菜?这个菜适合与 什么搭配?这个菜要怎么炒?一步一步逼近你要的结果,而这样的语音交互,甚至可以是多几轮很自然的对话交流。

        3.动态视觉搜索:解决“看一眼”的问题。在移动网络瓶颈消失后,所见即所搜,拍照、上传等带来的延时消失。用户需要的不是拍照,而是要让搜索引擎与之分享眼前所见。现在的 AR 实景,能算是这类应用的雏形。

        以上种种,都是让视觉搜索变得更自然,或者让“搜索”消失。就好像钢铁侠里面的“贾维斯”一样,这个隐形的管家无处不在,他比你还了解你自己, 帮你安排生活,解答问题,与你分享和帮助你认识这个世界。现实残酷,未来依然很丰满。这需要搜索科学家们的持续努力,早日带来我们一种全新的搜索引擎。