鹿特丹伊拉斯谟大学、蒂尔堡大学、欧洲工商管理学院和牛津大学的研究人员在《市场营销杂志》上发表了一篇新论文，提出了一个注重提高网络数据有效性的方法框架。

这项研究由约翰内斯·博格尔肖森、汉内斯·达塔、阿披舍克·博拉和安德鲁·斯蒂芬撰写。

最近，第九巡回法庭在HiQ Labs诉LinkedIn一案中作出裁决，强调了利用网络抓取收集学术研究数据时应对法律挑战的重要性。虽然可以从公开的网站收集信息，但研究人员仍然需要对如何设计提取软件持谨慎态度。例如，在某些司法管辖区，从公开可用的用户档案中收集信息可能会引发隐私问题鈥攁nd提示研究人员在收集过程中匿名化他们的数据。

虽然营销研究人员越来越多地使用网络数据，但其收集中的特殊性和有时潜在的挑战受到的关注有限。研究人员如何确保通过web抓取和API生成的数据集有效？该研究团队开发了一个新的框架，强调解决有效性问题需要联合考虑特殊的技术和法律/伦理问题。

作者表示“框架涵盖了自动收集学术用web数据的三个阶段中出现的广泛有效性问题：选择数据源、设计数据收集和提取数据。在讨论方法框架时，我们提供了一个风格化的营销示例进行说明。我们还为解决研究人员面临的挑战提供了建议通过web抓取和API收集web数据时遇到的问题。"

这篇文章还利用前五大营销期刊上发布的网络数据，系统地回顾了300多篇文章。通过这篇综述，研究人员解释了网络数据是如何促进营销思维的。了解web数据的丰富性和多功能性对于好奇将其整合到研究项目中的学者来说是非常宝贵的。

感兴趣的研究人员可以访问同伴网站上为本次审查开发的数据库。该网站还提供了其他有用的资源和教程，用于通过web抓取和API收集web数据。

研究人员补充说，他们使用“挖掘与网络数据相关的新的和未充分开发的‘黄金领域’的方法框架和类型。我们寻求揭开网络抓取和API的神秘面纱，从而促进整个营销学科更广泛地采用网络数据。我们未来的研究部分强调了使用网络数据的新颖和创造性途径，包括探索未充分利用的来源，创造丰富的多源数据集，并充分利用API在数据提取之外的潜力。"