图像识别（CV）在房地产领域的应用

过去两年，我们 Trulia Data Science Team 探索了大量图像识别（Computer Vision）在房地产相关的应用，在 Trulia 上线了一些，并发布了一些博客，在这里一并总结一下。

相关博客：

• Image Recognition Technology
• What Makes a Photo Click: Selecting Hero Images with Deep Learning - Trulia's Blog
• Organizing Real Estate Photo Collections for Visual Browsing - Trulia's Blog

背景

Trulia 上展示着大量的房地产相关图片，每天的新照片数量超过百万，单从数量上来说，可能是图片数量最大的产品之一。在这个注重视觉体验的时代，如果想要给用户更好的体验，将图片作为中心打造产品，我们必须了解每一张图片。因此，我们组一直在探索相关的技术，开发新的应用。

Scene Classification

我们首先完成研发的是图像的分类。在一般的房屋图片中，都有不同的房间类型，比如厨房、客厅、卧室、后院等等。我们训练了深度模型可以准确地将图片归类成为几十种房间类型。

一旦有了房间类型，我们可以围绕着这些图像数据做一些视觉体验优先的特性，比如专门把好看的游泳池放在一块一起展示，这样给用户带来了更好的浏览体验。用户开心了，自然就会在网站上停留更久。

Image Appropriateness and Quality

当网站上的内容过多，都会出现一些极端情况，比如不符合规范的内容。在图片中也有这样的情况，不少上传的图片并不是房地产领域的图片，比如宠物、大量文字等等。为了解决这个问题，我们开发了模型来预测图片是否适合房地产领域。

同时，我们也非常在乎对于不同的图片，哪一张更好看。为此，我们开发了模型来预测图片的好看程度。

这些模型被应用在了不同的领域，确保用户能够看到好看的图片，远离不相关的图片，增加用户体验。

Hero Image

一个房子平均有20张图片，但几乎所有展示房子的地方都只会放一张图片。放哪一张图片最合适？我们使用算法，结合通过模型预测的图片的几个信息，来自动挑选封面照片。

我们的算法结合了模型预测出来的分数，去掉不适合房地产领域的图片，参考图片好看程度，并给与不同的房间类型不同的权重，综合选出最好的照片作为封面照片。这样的算法还可以根据用户偏好的房间类型，比如厨房、卧室，来给用户优先展示用户喜欢看到的图片，做到个性化的图片推荐。

What is Next?

随着视觉体验的重要性日益增加，用户越来越期待看到图片，而不是文字的内容。因此，把图片作为产品的核心，是一个无法阻挡的趋势。而只有让计算机理解图片，才能给用户相关的内容。为了像理解文字那样理解图片，必须要研发相关的技术，做好技术储备。

正如我在答案如何评价谷歌的「人工智能先行」（AI First）战略？中所说，现在是做机器学习应用最好的时代。越来越多成熟的框架和数据集的出现，大大减低了研发的难度，应用的研发已经没有技术门槛。我们应该更多地探索用户的需求与体验，思考如何使用技术带来全新的产品，更好地服务用户。

by @陈然