腾讯科技讯(中涛)北京时间9月11日消息,美国《大西洋月刊》(The Atlantic)资深编辑亚历克斯·马德里加尔(Alexis Madrigal)日前发表长篇文章,独家披露了谷歌(微博)地图服务的制作过程以及该服务幕后的Ground Truth项目。
以下为文章全文:
谷歌地图的幕后制作有一个专门项目为“Ground Truth”(腾讯科技配图)
在每幅谷歌地图(Google Map)的后面,都有一幅制作过程更为复杂的地图。这种地图对于网民的查询要求至为关键,但网民却无法看到这类地图。这种深层次地图包含了各处地点的更多综合信息:街口驾车禁止左转、免费高速公路、公路限速和交通状况等等。在你向谷歌询问驾车出行路线时,谷歌就会调出这些数据,然后对数据加以分析再向你返回相应答案。
上周期间,谷歌向我展示了该公司的这种内部地图,并演示了其制作过程。谷歌地图的幕后制作有一个专门项目名称,为“Ground Truth”(简称GT)。这也是谷歌首次对外演示GT项目的工作原理。
在谷歌业务演进的关键时刻,该公司进一步扩展自身规模。谷歌最初是一家搜索引擎公司,其主要收入来源为文本搜索广告,即在搜索结果页面发布与用户查询要求相关的广告内容。后来移动服务大行其道。如此一来,搜索者所处位置的重要性,已能够与搜索内容本身处于同等重要位置。面对这种市场新趋势,谷歌开发了Android移动操作系统,并为此建立了相应生态系统,并成为唯一能够同苹果iOS相抗衡的产品。
而且谷歌的业务扩张也有着很好理由。假如说谷歌的使命就是对全球信息进行有序整理,那么其中的最大挑战就是:如何将全球的真实世界信息全部搜集起来,并能够让网民们使用且真正能够给他们提供帮助。
谷歌地图高级产品经理曼尼克·谷普塔(Manik Gupta)对此表示:“如果你关注一下我们生活的现实世界就会发现,真实世界的大量信息尚未完全被发布到互联网上。为了满足网民们在现实生活中的需求,我们希望能够在现实世界和网络世界之间搭起一座桥梁。在此过程中,谷歌地图就扮演了这种桥梁角色。”
这并不仅仅是理论上的担忧。手机上的地图系统之所以至关重要,原因就是它们正是现实世界和网络世界之间的接合点。如果你与我一样,你肯定会频繁使用地图服务,其频繁程度超过了任何其他应用程序,但通信套装除外(手机、电子邮件、社交网络和短信)。
谷歌正同全球第一大公司苹果展开激烈厮杀。双方争夺的焦点,意在取得移动服务未来发展的控制权。就苹果一方而言,其实力在于产品设计、供应链管理和零售市场营销。而谷歌的强项在于提供信息的能力。地理位置数据(以及使用这些数据的应用程序),正是谷歌能够取得胜利的法宝。在旧款iPhone手机中,这种争夺并无实质意义,原因是它们本身使用谷歌地图服务。时至今日,苹果已计划推出自家地图服务。无论是Android还是iOS操作系统,它们如何整合地理位置数据、以及这些数据易用性如何,无论将成为谷歌、苹果移动大战的主攻战场。
而这种争夺战,势必也就涉及双方如何制作性能更好的数字地图。
谷歌办公地并未处于显眼之地,但这些场所能够提供免费食品以及乒乓球桌等娱乐设施。与我会面的谷歌地图团队成员包括:谷普塔、前美国国家航空航天局(NASA)工程师迈克尔·韦斯-马利克(Michael Weiss-Malik)以及尼克·沃尔马(Nick Volmar)。其中韦斯-马利克用他的“20%时间”参与谷歌火星项目,沃尔马则负责谷歌地图的数据处理。
我们在一台大型显示器前坐下来后,韦斯-马利克说:“如果要制作一幅地图,就得有数个步骤。首先你必须从合伙伙伴那儿获得数据,然后对这些数据进行相应技术处理,使其转换成合适的格式,再后再同其他来源的数据混合在一起。然后再使用相关工具对这些数据进行处理,并把这些数据以信息方式输出。这样一来,在机器的另一端,就能给出高质量的信息。这些信息的整体质量远远高于单独的部分。”
这就是谷歌地图的最开始资料,即来自美国普查局(US Census Bureau)的TIGER数据(在不同国家,此类数据的发布机构也可能有所差异),如下图:
谷歌地图的最开始资料(腾讯科技配图)
粗略一看,该数据似乎也很不错,公路、街道都已经标明。如果不挑剔的话,这幅地图的质量应该说已经相当不错。但我们不妨再看得仔细一点儿。在这幅地图上,部分数字数据与现实世界并不匹配。我会在后面的文字中举出部分具体例子。
部分数字数据与现实世界并不匹配(腾讯科技配图)
这还仅仅是将该地图与卫星成像相比较,就能发现上述不足。此外,谷歌还会使用多种类型的工具对该原始图像加以处理。其中一条就是引进其他来源的数据,比如说使用美国地质调查局(US Geological Survey)的数据。但谷歌地图技术开发团队还拥有独此一家的解决方案:利用谷歌街景(Street View)摄像车拍摄的图片和相关数据。为执行谷歌“更多数据就更好数据”的理念,谷歌地图团队(主要由谷歌街景团队组成)每两周所发布的图像数据,就会比谷歌2006年全年拥有的相应数据还多。
我们不妨试想一下,谷歌没有任何合作伙伴,而独自决定使用安装上摄像头的汽车,并让这些汽车跑遍每条不禁止通行的街道。截止目前,谷歌汽车已经跑了500万英里。这种汽车摄像,主要能够带来两类可供地图服务使用的数据。一是汽车实际运行的轨迹,这就表明“此路已通”。二是汽车所拍摄的图片。谷歌街景图片服务的令人叫绝之处,就在谷歌甚至可通过算法来提取街道当中的红绿灯信号,然而再将这些信号粘贴在谷歌的深度地图当中。如此一来,如果是旧金山市中心一个交通流量很复杂的十字路口,那么这个深度地图看上去就是如同下图这样:
谷歌汽车摄像,主要能够带来两类可供地图服务使用的数据(腾讯科技配图)
当然谷歌街景并不是希望创建这样的地图。然而通过该地图,谷歌地图工作人员可以很快知道,这些标记能够让他们制作出质量上乘的地图。上面这个过程看似复杂,但这不过是谷歌如何使用街景图片的开始。别忘了,谷歌早期就是网络爬虫,以抓取全球范围的网页信息。谷歌街景也是采取类似方法:首先找到街道信号(以及地址),然后谷歌就能更加了解人工交通系统的内在联系。随着计算机视觉和光学字符识别(OCR)技术的进步,现实生活中道路上所出现的任何字迹,谷歌都能为其建立其相应索引。
那天晚些时候,谷歌地图副总裁布赖恩·麦克伦顿(Brian McClendon)这样总结道:“如果我们能够使用OCR技术进行相应识别,就能将全球现实生活中的所有手写信息加以归类。我们现在主要利用OCR技术来提取街道名称和地址,但OCR技术在该业务领域内仍有很大应用空间。”
麦克伦顿接着表示:“利用这项技术,我们已经获得了600万家商家名称和2000万个地址。如此一来,我们就能获得非常准确的信息。我们能够将公司商标与图像匹配,然后查找出哪儿有肯德基快餐店……对于我们拍摄到的图像,我们能够使用语义分析工具进行处理。这就是我们从事的基础工作。”
就目前而言,将计算机视觉的街景图片直接转换成明白易懂的信息尚有一定距离。在你驾车路过十字路口时,是否可以左转,无论是谷歌地图是否给出了相应提示,最佳方案还是亲眼看一下街道上的实际交通信号指示牌。
上面所说的这种情况,其实同谷歌的另一项服务“谷歌翻译”(Google Translate)很相似。谷歌翻译使用的机器翻译,它只是人工翻译经验的积累:首先对大量人工翻译材料进行汇总,然后再提取不同语种的词汇或句子进行对比。谷歌地图也是进行着类似的工作。在借助人工标注地理位置的信息后,计算机就能够复制人类的这种经验。
谷歌地图团队成员沃尔马给我演示了相关情况,他处理此类数据的时间已达数千小时。韦斯-马利克则表示,要制作一个国家的地图,至少需要数百名技术人员共同协作才能完成(有传闻称,这些工作人员主要位于印度班加罗尔的谷歌办事处,谷普塔正是从那儿被提拔上来)。
而谷歌地图服务上所消耗的人工精力也非常惊人。每天都会有数千名用户向谷歌汇报谷歌地图中存在的错误,谷歌地图团队将在数分钟内对相应问题加以处理。一名用户表示,谷歌地图中没有显示一处乡村中刚刚出现的交通转盘。谷歌拥有的卫星地图资料并没有显示该信息,但好在谷歌街景车前不久刚刚驶过该处,因此明确显示了该转盘的存在。
于是沃尔马开始对地图加以修订,并飞快地在原地图上画出一条新道路。由于着急,他画的圆圈点并不完美。我与韦斯-马利克又交谈了数分钟。然后我回头一看,沃尔马的那个圆圈点已经画得非常准确。这也正体现了谷歌的完美主义精神。
通过上面的工作,也就使得地图看上去是下面这个样子:
对地图加以修订后的效果(腾讯科技配图)
有几个细节值得指出来。在地图中心的顶部,已给出了可供步行的道路。所有停车场也已标注出来。所有小路也已经指明。一些建筑也勾画出轮廓。在地图下部左边,其中一条道路给出了此路不通的标记。在每个十字路口,都给出了汽车是否可调头的标记。
我们不妨试想一下,过去四年中,谷歌要为美国及其他30个国家制作这样一幅幅单张的地图,每个十字路口、交通转盘都要符合现实生活的通行规则。还得为新开通道路、单行道加注。这些工作的繁杂程度无法想像,而不是让数名技术工程师往那儿一坐就能解决的问题。
在离开谷歌总部时,我意识到该公司所收集的地理位置数据规模,任何其他公司都无法与之相比。谷歌取得成功的秘密,并不是谷歌拥有大量工具,而是他们的毅力和执着。谷歌首先付出的是人力,然后再由计算机向用户提供各种行车路线图。
但我们最好别将谷歌地图视为纸质地图。数字地图比纸质地图的进步之处,就好比人类从算盘时代进入计算机时代。伦敦大学制图历史学家杰里·布洛顿(Jerry Brotton)表示:“我认为目前在地图制作事宜上已经有着重大改变。这种变化规模,比当初人类从手写体向印刷术演进还要大。这是无比巨大的变化。”
我们平时生活中折叠起来的纸质地图,其实也是人类智慧的体现。时至今日,地图的制作已由诸如沃尔马这样的技术工程师来完成。
我们在讨论数字地图的未来发展趋势时,肯定有人会提到制作1:1比例全球地图的理论。我们本身就已经在世界当中,还要为其制作一个全比例地图,这种想法似乎很可笑。但如果我们认真思考一下学者纳森·杰根森(Nathan Jurgenson)增强现实的理论,或许我们会认同他的“每个物理空间都是信息空间”看法。所有物理空间也是信息空间。对于我们熟悉的处所,我们每人头脑中都有一幅1:1比例的地图,我们使用该地图来查找及测算物理空间。而谷歌的战略是,将我们每人头脑中的这些地图汇总到一起以便于公众使用。
谷歌MapMaker地图制作工具已充分表明了该公司的雄心。该项目最初由在谷普塔在印度工作时具体负责,它也是Ground Truth项目的“底层版本”。利用该工具,公众可参与谷歌地图的编辑,如添加路标及其他信息。这也是将人工信息吸收到互联网当中一种方式。而谷歌地图的竞争服务Open Street Map也已经证明,数字地图可以对人工信息加以充分利用。
随着增强现实在生活中应用速度的加快,或许谷歌地图数据将成为该公司最有价值的资产,原因是拥有这些数据之后,将使谷歌当前从事的各项业务变得更有价值。
就像我的好友、科幻小说家罗宾·斯洛安(Robin Sloan)指出的那样:“我认为这些数据就是谷歌的核心资产。今后50年内,谷歌将成为一家无人驾驶汽车公司(由该公司的深度地图提供后台服务),当然,他们仍然还会拥有搜索引擎业务。”
最为重要的是,谷歌一直会希望这些地理位置信息能够对每个普通网民都有用。用户所在位置,正是谷歌数据收集机器最为关注的事情。谷歌所做的这些努力,其目的只有一个:期待用户参与及使用。考虑到该服务的性能不错且确实有用,对于那些不愿使用该服务的用户而言,我们只能在此祝愿他们一路顺风。
• 中国角型毛巾架行业运营态势与投资潜力研究报告(2018-2023)
• 中国直接挡轴市场深度研究及投资前景分析报告(2021-2023)
• 2018-2023年KTV专用触摸屏市场调研及发展前景分析报告
• 中国回流式高细度粉碎机市场深度调研与发展趋势预测报告(2018-2023)
• 2018-2023年中国原色瓦楞纸行业市场深度研究及发展策略预测报告
• 中国雪白深效精华液市场深度调研及战略研究报告(2018-2023)