来源：硬ai
高质量数据的紧缺正成为ai发展的重要障碍。
4月1日，据媒体报道，随着openai、google等企业不断深入发展ai技术，科技巨头们遇到了一个新问题：现有的互联网信息量可能不足以支撑他们训练更先进的ai系统。
科技巨头的ai系统，比如能与人类聊天的chatgpt，是通过学习网上的信息变得越来越聪明的。但现在，高质量、有用的信息日益紧缺，同时，一些网站开始限制ai公司访问他们的数据。据业界一些高管和研究人员表示，ai行业对高质量文本数据的需求可能在两年内超过供应，这将可能减缓ai技术的发展速度。
面对信息不足的问题，ai公司正在尝试各种方法来寻找新的信息源。比如openai正在考虑用youtube视频里的对话来训练它们的下一代智能模型gpt-5。有的公司甚至创造合成数据来学习，尽管这种方法被许多研究人员认为可能会导致系统发生严重故障，但不失为克服数据短缺的一种潜在途径。
据悉，这些努力大多保密进行，因为找到有效的ag九游会官方网站的解决方案可能成为企业在激烈竞争中的关键优势。随着数据需求不断增长，找到新的学习材料、与数据所有者的合作，让ai系统变得更加聪明，就成了这个行业的重要备战区。
openai的gpt-5面临10万亿到20万亿tokens的数据短缺
ai语言模型的构建依赖于从互联网上收集的大量文本数据，这些数据包括科学研究、新闻文章、维基百科条目等。这些材料被分解成“tokens”，tokens可以是完整的单词或单词的一部分。ai模型通过分析和理解这些tokens之间的关系和模式，学会了如何生成流畅、自然的语言，从而能够回答问题、撰写文章甚至创作诗歌。
模型的能力在很大程度上取决于它训练的数据量。通常情况下，数据越多，模型的性能就越好，因为它有更多的例子来学习不同的语言用法和复杂性。
openai通过为其gpt系列模型提供海量训练数据，不断提升性能，借此成为世界顶尖ai公司。这展示了大数据训练对于ai发展的重要性。
但是，随着gpt-4模型的不断扩大，openai对数据的需求也在急剧增长。epoch研究所的ai研究员pablo villalobos估计，gpt-4训练涉及的数据量高达12万亿tokens，而未来模型，如gpt-5，可能需要60万亿到100万亿tokens。因此，即便是利用所有可用的高质量语言和图像数据，研发gpt-5仍可能面临10万亿到20万亿tokens的数据短缺。至于如何弥补这一巨大的数据缺口，目前尚无明确方案。
据媒体报道，为应对数据短缺挑战，ai公司正在尝试各种方法来寻找新的信息源。meta创始人扎克伯格近期强调，公司通过facebook和instagram等平台拥有的大量数据，为其ai研发提供了重要优势。扎克伯格表示，meta能够利用网络上数以百亿计的公开共享图片和视频，这些数据的规模超过了大多数常用数据集，尽管其中高质量数据的比例尚不明确。
而openai则考虑使用其自动语音识别工具whisper转录的高质量视频和音频示例。此外，openai还在考虑建立一个数据市场，以评估每个数据点对模型训练的贡献并据此向内容提供者支付费用，这一创新想法也引起了google的关注。
epoch研究所预测ai数据短缺危机将推迟至2028年
两年前，villalobos和他的同事写道，到2024年年中，对高质量数据的需求超过供给的可能性为50%，到2026年发生这种情况的可能性为90%。自那以后，他们变得更加乐观，在ai研究员pablo villalobos及其团队的审慎评估下，新的预期显示，这种短缺风险将延迟至2028年。
这项乐观的更新基于对当前数据质量和可用性的深刻洞察。villalobos指出，互联网上的绝大多数数据并不适合作为ai训练材料。在无尽的信息流中，只有一小部分数据（远低于先前预计）能对ai模型的增长和(4.81, 0.03, 0.63%)发展做出实质性贡献。
同时，各大社交媒体平台和新闻出版商已开始限制其数据被用于ai训练。他们担心如果数据被自由用于ai训练，可能导致内容创造者和平台本身失去应得的经济回报。
此外，普罗大众对于个人隐私的保护意识显著提升，许多人对于将私人对话如imessage中的聊天记录提供给ai训练的意愿较低，人们可能担心他们的隐私可能会受到侵犯。
最近，一位女记者就openai最新模型sora的训练数据向cto murati提问时，murati未能明确回答，这引发了业界对openai管理层对于训练数据来源的关注度的质疑。这一事件触发了更广泛的讨论，关于公共领域数据的所有权问题——我们在网络上发布的内容，究竟是属于个人私密还是公共共享的资产？
因此，这些因素共同导致了数据获取的困境。随着用户和监管机构对数据使用的监控趋严，研究者们必须在保护隐私与数据采集之间找到新的均衡。
rss订阅