近年来,众包(包括招募公众成员帮助收集数据)为研究人员提供了独特而丰富的数据集,同时也让公众参与到科学发现的过程中,发挥了巨大的作用。在一项新的研究中,一个国际研究团队探索了众包项目如何最有效地利用志愿者的贡献。
通过众包进行的数据收集活动范围从现场活动(如观鸟)到在线活动(如高度成功的银河动物园项目的图像分类),参与者在其中对银河形状进行分类;和Geo Wiki,卫星图像被解读为土地覆盖、土地利用和社会经济指标。然而,从这么多分析一组图像的参与者那里获得信息,会引发人们对提交的回答的准确性的疑问。虽然有一些方法可以确保以这种方式收集的数据的准确性,但它们通常会对众包活动产生影响,比如抽样设计和相关成本。
在刚刚发表在《公共科学图书馆·综合》杂志上的研究中,IIASA的研究人员和国际同事通过调查一项任务需要完成多少评分才能合理确定正确答案来探讨准确性问题。
“公众参与的许多类型的研究都涉及让志愿者对计算机难以自动识别的图像进行分类。然而,当一项任务必须由许多人重复时,如果你确定正确答案,它会使任务分配给执行任务的人的效率更高。这意味着志愿者或付费评分员的时间更少IIASA青年科学家暑期计划(YSSP)的校友卡尔·萨尔克(CarlSalk)解释道,他是IIASA长期合作者,目前与瑞典农业科学大学有联系。
研究人员开发了一个系统,用于估计大多数人对某项任务的反应是错误的概率,然后在该概率变得足够低,或者得到明确答案的概率变得很低时,停止将该任务分配给新志愿者。他们通过2783名志愿者对超过190000张图像进行的一组450多万个独特分类来演示这一过程,这些图像评估了是否有农田。作者指出,如果他们的系统在最初的数据收集活动中得到实施,那么就不需要对59.4%的志愿者进行评分,如果将这项工作应用到新的任务中,那么在同样的劳动量下,将允许对图像进行两倍以上的分类。这表明这种方法在更有效地利用有限的志愿者捐款方面是多么有效。
根据研究人员的说法,这种方法几乎可以应用于任何需要“是”或“否”(二进制)分类的情况,而且答案可能不是很明显。例如,可以对其他类型的土地利用进行分类,例如:“这幅图中有森林吗?”;通过问“这张照片里有鸟吗?”来识别物种;或者甚至是我们为了让网站相信我们是人类而做的那种“重述”任务,比如,“这张图片中有红绿灯吗?”这项工作还有助于更好地回答对决策者很重要的问题,例如世界上有多少土地用于种植作物。
“随着数据科学家越来越多地将机器学习技术用于图像分类,利用众包构建图像库进行培训的重要性不断增加。这项研究描述了如何为此目的优化对人群的使用,在达到必要的置信水平或某个特定图像过于复杂时,为何时重新调整工作重点提供了明确的指导这项研究的合著者伊恩·麦卡勒姆(IanMcCallum)总结道,他领导着IIASA可持续发展研究小组的新型数据生态系统。