房地产的技术变革——使用BigDL创建基于图像相似性分析的房屋.PDF

房地产的技术变革——使用 BigDL 创建基于图像相 似性分析的房屋推荐系统 原创 ：IDZ英特尔开发人员专区2017-12-15 本 文将 介 绍 MLSListings*和 英 特 尔 在 Microsoft Azure* 上 使 用 BigDL创建的基于图像的房屋推荐系统。使用英特尔 BigDL 分布式深度 学习框架 ，该推荐系统经过精心设计 ，支持高效地索引和查询数百万张 房屋图像 ，从而显著提高房屋购买体验。用户可选择喜欢的房屋照片 ， 让系统推荐用户可能感兴趣的带有类似图像特征的照片列表。系统设计 目标为 ：  根据标题图像的特征和相似性推荐房屋。大多数图像显示房屋正面外部 结构 ，而其他图像可显示该房屋的代表性特征。   低延迟 API ，支持在线查询 （ 0.1 秒 ）。  背景 MLSListings Inc. 是加州北部致力于提供房地产资源的上市服务 (MLS) 机构 ，他们与英特尔和微软合作 ，将人工智能 (AI) 集成至在线地产平 台 ，以更好地为客户服务。通过集成房地产标准机构 (RESO) API 和英 特尔面向 Apache Spark* 的 BigDL 开源深度学习库 ，这些技术组合 在一起 ，可使用视觉图像显著改进房屋购买搜索过程。这一项目将为高 级分析应用创新在房地产行业中的应用铺平道路。 通过图像的相似性对其进行排名 ，可帮助解决计算机视觉领域中的大量 问题。例如 ，电子零售商向客户展示与过去购买的商品相似的产品 ，提 高线上销售量。几乎每个行业都将其视作颠覆性变革 ，包括房地产行业 ， 因为过去十年该行业开始越来越多地使用数字技术。在寻找合适房地产 的过程中 ，超过 90% 的购房者选择上网搜索。房主和房地产专业人士 提供房屋特征信息 ，比如地理位置 ，大小、年代 ，以及许多关于房屋内 外部结构的照片 ，以供房地产列表搜索。然而 ，由于技术上的限制 ，照 片中的大量信息无法提取和编入索引 ，从而无法增强搜索或服务房地产 列表结果。事实上 ，为我显示类似房屋 是用户进行查询时的最大心愿。 现在 ，利用图像数据库来增强网络和移动数字体验 ，通过改善搜索相关 性来提高用户满意度已成为现实。 作为一种快速崛起的分布式深度学习框架 ，BigDL 可为大型数据社区提 供简单、集成的深层学习功能。BigDL 支持各种深度学习应用 ，开发人 员可通过 BigDL 将深度学习应用编写为标准的 Spark 程序 ，这些程序 可以直接在现有的 Apache Spark 或 Apache Hadoop 集群上运行。 图像相似性概述 在学术领域中 ，图像相似性可以指语义相似性或视觉相似性。语义相似 性指两个图像都包含同一类别的对象。例如 ，平房和传统住房属于同一 类别 （都是房子 ），但看起来可能完全不同。另一方面 ，视觉相似性并 不注重对象类别 ，而是从视觉角度来衡量图像的外观 ；例如 ，公寓和传 统住房在外形上可能非常相似。 语义相似性 ： 视觉相似性 ： 对于语义相似性来说 ，通常指的是图像分类问题 ，使用常见的图像感知 模型 ，比如 GoogLeNet*或 VGG*来有效地解决这一问题。 对于视觉相似性来说 ，纵观历史 ，有许多技术可应用于这一领域 ：  SIFT、SURF、颜色直方图 传统的特征描述符可用来比较图像的相似性。SIFT 特征描述符在均匀缩 放、方向和光照改变过程中始终保持不变 ，适用于譬如在较大的图像中 查找小图像的应用。   pHash 这一数学算法可对图像内容进行分析 ，并使用 64 位数字指纹来表示其 内容。如果两张图像的内容特征类似 ，那么它们的 pHash 值也会比较 接近。   基于卷积神经网络 (convnet) 的图像特征 （embedding ） 通过卷积神经网络生成图像特征编码 ；通常为卷积和池化后的第一个线 性层。   孪生网络或 Deep Ranking 它是一种比较深入的深度学习解决方案 ，但结果模型很大程度上取决于 训练数据 ，可能会失去通用性。  基于 BigDL 的解决方案 为了基于图像相似性推荐房屋 ，我们首先将所选查询图像与候选房屋列 表的标题图像进行一一比较 ，接下来生成每个候选房屋的相似度得分并 选取排名选择最顶端的结果。通过与领