电商爬虫机器人大战：防止被刺探情报 亚马逊是行家

  导语：路透社今天撰文称，在与对手竞争的过程中，亚马逊在爬虫机器人领域的领先地位虽然鲜为人知，但却对它的发展起到了重要作用。

  以下为文章全文：

  今年早些时候，负责追踪对手电商售价的沃尔玛工程师大吃一惊：他们用来每天扫描亚马逊网站的技术突然失灵了。

  这可不是小事。与多数零售巨头一样，沃尔玛也要依靠计算机程序扫描对手网站的价格，从而展开相应的调整。即便只有50美分的差价也可能导致销量受损。

  但亚马逊却借助新策略屏蔽了这些机器人程序，令沃尔玛措手不及。

  知情人士表示，沃尔玛技术部门用了好几个星期都无法绕过封锁，因而不得不通过二手渠道获取亚马逊的数据。

  这件之前未被曝光的事情让外界得以一窥亚马逊如何凭借技术取得零售市场的主导地位。

  身为全球最大网络零售商的亚马逊最为人所知的就是快速的配送和齐全的商品，而且提供自制剧等诸多视频内容。但该公司的后台技术同样在它的成功中扮演了重要角色。

  对网络机器人的灵活运用不仅可以让亚马逊充分了解对手的动向，还能在自己调价时把对手蒙在鼓里。

  “参考亚马逊会越来越困难。”加州零售定价软件开发商Boomerang Commerce CEO、亚马逊前经理古鲁·哈里哈兰（Guru Hariharan）说。

  沃尔玛发言人拒绝讨论今年1月发生的这件事情，但他表示，该公司一直在定期改进技术，而且有多款追踪工具。他表示，该公司的价值不仅来自价格，还来自店内自取折扣等其他福利。

  亚马逊发言人称，该公司知道竞争对手使用机器人追踪器定价，但否认采取任何措施来阻挠对手。“我们管理网站机器人的方式最近没有任何变化。”她说。

  由于机器人会降低网站的浏览速度，所以零售商都希望阻止这类程序访问自己的网站。

  路透社对21名熟悉机器人及其部署方式的人进行了采访，包括前任和现任沃尔玛员工、亚马逊前员工以及外部专家。但由于未获授权，所以很多人都要求匿名。

  多数人都指出，亚马逊在方兴未艾的网络机器人大战中处于领导地位。

亚马逊在方兴未艾的网络机器人大战中处于领导地位。

  该公司的技术优势有助于提升利润率，而且对投资者也很有好处。自从2009年3月触底以来，该股已经上涨约15倍，而同期的标准普尔500指数涨幅仅为3倍。亚马逊2015年的销售额达到1000亿美元——该公司称，他们达到这一基准的速度超过历史上任何一家公司。

  美丽新世界

  自从亚马逊10多年前帮助拓展这一模式以来，机器人驱动的定价给整个零售行业带来了巨大的变革。

  以往，零售店最多每周调价一次，因为更换标签的成本和时间成本都很高。而在电子商务世界，零售商却可以随意调价，有时候甚至达到每天数次，这都得益于综合考虑了库存、销量预测和对手定价数据等各种算法。

  为了保持竞争力，在线批发商Boxed等企业采用包括机器人在内的许多方法确保其调价速度与对手之间保持在20分钟之内。

  “这就像是持续一生的圣诞节。如果我们的定价不合适，销量几乎会立刻下滑。”Boxed CEO Chieh Huang说，他的公司专门销售大包装卫生纸和宠物食品。

  伪装成人类

  使用机器人查看公开网站上的大量数据被称作爬取，背后的目的多种多样。例如，谷歌会不断爬取网站内容，以便发展搜索引擎或销售广告。

  而在电子商务行业，使用机器人则成为了一场“猫捉老鼠”游戏。企业一方面希望阻止竞争对手爬取自己的网站，另一方面又想渗透对手的网站。于是，专门提供这种服务的第三方服务相继涌现。

  为了避免对手获取自己的数据，有的零售商使用了CAPTCHA技术，对文字和数字进行歪曲，虽然人类依然可以阅读，但机器人却无法正确识别。亚马逊并未采取这种措施，因为此举会令部分客户感到厌烦。

  对于希望绕过这些封锁措施的企业来说，如何将自己的电脑程序伪装成人类是关键所在。有的定价技术专家会开发在网页上移动的计算机光标，模拟人类访问网页的过程，而不再直接瞄准有价值的数据。还有一种使用多个计算机地址的技术，可以避免零售商将大量点击追溯到相同的来源。

  “这是一场军备竞赛。”爱尔兰Profitero高级电子商务分析副总裁基斯·安德森（Keith Anderson）说，“攻防双方每个星期或每个月都会开发新技术。”

  亚马逊今年1月封杀沃尔玛时瞄准了名为PhantomJS的专用网络浏览器。与IE不同，这种浏览器是专为程序员设计的——这表明用户并非普通购物者。知情人士表示，亚马逊设计了一个数字幕布，对PhantomJS隐藏了列表。

  由于此举并非针对亚马逊，所以目前还不清楚其他公司因此受到的影响。

  路透社最近几周进行的测试表明，在美国大型零售商中，亚马逊的机器人探测技术最为先进。这些测试不仅限于主页，还包括调价最频繁的两款产品。

  此次测试由路透社委托旧金山Distil Network公司进行，这是一家专门销售反机器人工具的公司。在其中一项测试中，Distil开发的机器人对每家零售商的网站扫描3000次，但特意放满了速度，以模拟人类的点击过程。此举骗过了多数零售商，但却并未骗过亚马逊。

  被屏蔽的机器人无法看到亚马逊上出售的De'Longhi咖啡机的价格。而根据定价追踪网站camelcamelcamel.com的数据，仅在在4月25日当天，这款产品就在亚马逊网站上调价4次，从80.06美元上涨到88.16美元，涨价幅度超过10%。

  机器人肆虐

  尽管亚马逊拥有领先的技术，但爬取该网站的机器人数量还是令人震惊。知情人士表示，其产品列表上最多有80%的点击都来自机器人，而大型网站的这一比例大约只有三分之一。

  除了收集定价数据的对手外，有的流量还来自科研院所，他们的目的是研究竞争、搜索引擎、广告服务，甚至还有的是希望入侵亚马逊帐号的犯罪分子。

  沃尔玛前员工表示，该公司的自动化定价战略由一个位于硅谷的小团队负责，还有来自印度及世界各地的数十名工程师负责处理代码。

  另有知情人士表示，截至几年前，亚马逊约有40名工程师负责提取和整理对手的数据。但亚马逊并未披露自家爬虫机器人团队的组织结构。

  美国专利申请资料显示，亚马逊正在开发一项加密技术，可以迫使机器人解决复杂的算法才能访问其网页。但人类访问者不会受此影响。

  “亚马逊既有能力探测机器人流量，也可以采取必要的手段。”斯科特·雅各布森（Scott Jacobson）说，他曾经担任亚马逊经理，目前在Madrona Venture Group担任总经理。“多数零售商都不具备这种能力。”