Amazon Mechanical Turk 前景如何?
Amazon Mechanical Turk (MTurk) 是一个并不被大众所了解,严重被低估的平台。它提供了一种标准化的向人类发布任务并收集数据的方式,而且完全由价格驱动,你可以把它想象成一个 Human As a Service。MTurk 继承了 Amazon 一贯不重视 UI 但是重视 API 的策略,对于入门用户来说非常不友好。但是一旦深入使用,一定会越用越依赖。
我们组在 Trulia 的日常工作非常依赖 MTurk。我们使用 MTurk 标注数据,验证数据,甚至生产数据。我认为 MTruk 未来的前景无限好,原因有以下三点:
-
真实世界算法的开发是动态的,需要人类不断参与的
-
MTurk 可以完成的任务远远超过想象,是虚拟世界与真实世界互动的接口
-
短期来看,人类比机器人强的地方在于我们有更高效的大脑
甚至我可以说,如果我正在训练一个试图在真实世界中生存的 AI,我的第一件事情就是教会它如何生活在 MTurk 中。它可以通过完成图像识别等简单任务获得收入,并同时将不确定的任务发布在 MTurk 上交由人类来解决,并自己学习,这是一种无风险的套利以及进化的过程。
1. 工业界算法的开发是持续地,需要人类不断参与地
学术界做算法更多的关注是否优雅与科学,因此常做端到端的模型,同时使用相对固定的数据集。但在真实世界中我们更看重结果,需要不断地反馈,也因此更关注打造系统的闭环。同时,我们也认识到模型的能力有限,越来越多的系统不仅仅依赖模型,更是试图让人类也参与到整个系统中。因此,MTurk 的作用也越来越大。

2. MTurk 可以完成的任务远远超过想象,是虚拟世界与真实世界互动的接口
Amazon Mechanical Turk 前景如何? - 周博磊的回答 的答案中提到了用 MTurk 做标注。我们组也用做大量的标注数据,包括图片的标注,文本的标注等等。MTurk 也被使用做衡量数据,比如NLG系统里面。同时,我们也大量使用 MTurk 生产数据。比如做 Chatbot 的时候,NLG 系统的时候,做文本缩写的时候,你可以使用 MTurk 而生成文本。
Amazon Mechanical Turk 前景如何? 的答案中提到了可以让 MTurk 完成某些行为,也是很好的用法。为了方便我们 内部使用,我们搭建了一个更好用的平台:
Interning on Trulia’s Data Science Team - Trulia's Blog
从更高的角度来看, MTurk 提供的 API 系统本质上就是虚拟世界与真实世界的接口,而且是真实有效的接口。只要有钱,就可以大规模的使用人类的大脑和做简单的行为。换句话说,是一种拿钱换取信息或者行为的方式。人类知道通过付费来获得更高质量的答案,对于 AI 来讲也是如此。互联网上海量的信息可以帮助 AI 理解世界,但对于不确定的事情,在 MTurk 上花钱与人类沟通也能帮助他找到答案,变得更加智能。
3. 短期来看,人类比机器人强的地方在于我们有更高效的大脑
如果你也认为,人类获得收入是因为可以完成一些不能被机器替代的事情,现在 AI 还没有聪明到训练 AI。MTurk 提供个一个平台使得 AI 可以向人类寻求帮助并给予金钱,在没有别的生产要素的情况下,以此来帮助人类脱离贫困,可能是一个好方法。
总结一下,MTurk 是一个前景无限的平台,它通过 API 和金钱连接了虚拟世界和真实世界。越早使用,就收益越多。
继续阅读
全部内容如何看待 Pinterest 的相似视觉搜索结果?
从技术难度来讲,受益于深度学习的发展,相似图片搜索几乎已经成为一个解决的问题。 在应用的领域,Pinterest 带了一个好头,是一个非常优秀的应用典范。同时,发布的论文 http://www.kevinjing.com/visualsearchatpinterest.pdf 从系统架构来讲,也非常有指导性。 从工程角...
大模型落地的未来:开源+微调?
最近,AI 社区里流传着这样一句话——“通用大模型很强,但我并不需要我的应用去给我背诵法文诗歌。” 这句话听上去有点调侃,却反映了一个重要现象:许多企业和开发者在早期会选择大型通用模型(例如 GPT-4)去快速验证想法,但真正想要落地到生产环境,往往发现必须在速度、成本和“专用领域准确度”之间做权衡。 于是,“微调(F...
[ML 1分钟]细节太多,犯错太容易
机器学习工程师小月最近一直在研究新的深度学习算法。相对于现有的算法框架,新算法要求兄弟团队一块搭建了不少新的框架,也选用了一些以前不太熟悉的库。经过了三个月的准备,终于可以上线AB测试了。 但是AB测试效果老是不好 经过了几个月的迭代,效果依然不佳,仅仅只比手动排序更好,与现有的模型相比效果差距甚远。离线数据 AUC,...

