GitHub 的新数据集使研究人员能够访问 4000 万个存储库中的元数据，从而促进多语言 AI 开发。
GitHub 推出了 GitHub 多语言存储库数据集，这是多语言 AI 研究向前迈出的重要一步。该数据集于 2026 年 6 月 15 日发布，提供超过 4000 万个公共存储库的元数据，帮助开发人员识别 README 文件、问题和拉取请求中的多语言内容。它根据宽松的 CC0-1.0 许可证发布，符合 Microsoft 的 2025 年承诺，即改善开源 AI 开发人员的多语言数据可访问性。
与原始存储库转储不同，该数据集侧重于可发现性。它使用 fastText、gcld3 和 lingua-py 三种工具对关键存储库元素的语言进行分类，置信度得分高于 0.5。该数据集还包括元数据，例如存储库创建日期、编程语言和参与度指标（星星、分叉和问题计数）。这种结构允许研究人员根据他们的目标调整他们的分析，平衡精确度和召回率。例如，那些研究希腊语等稀有语言的人可以设定更严格的置信阈值，而更广泛的探索性研究可以放宽这些标准。
为什么这很重要
多语言数据集正在成为人工智能创新的核心。英语历来在大型语言模型 (LLM) 的训练数据中占据主导地位，导致许多语言的代表性不足。这种不平衡意味着人工智能工具通常无法在资源较低的语言中充分执行，从而限制了它们的全球实用性。 GitHub 的数据集通过强调软件开发中已经发生的多语言协作来弥补这一差距。
该数据集的发布恰逢行业更广泛地推动包容性人工智能。今年早些时候，Hugging Face 推出了 FineTranslations，这是一个涵盖 500 多种语言的万亿代币多语言数据集，而微软研究院报告称，超过一半的多语言数据集仍然是通过英语翻译构建的。这些举措凸显了减少人工智能系统中以英语为中心的偏见所面临的挑战。
面向开发人员和研究人员的应用程序
GitHub 的数据集被设计为一个多功能工具。研究人员可以用它来发现非英语开发者社区如何协作，为人工智能模型构建评估集，并衡量开源中代表性不足的语言的代表性。例如，该数据集可以使人工智能开发人员能够更好地针对多语言用例优化代码审查助手或文档生成器等工具。
除了研究之外，该数据集还提供了扩展开发人员工具中语言覆盖范围的业务案例。随着人工智能越来越多地融入软件开发工作流程，支持多种语言成为一种竞争优势。该数据集可以帮助决策者通过数据支持的见解来证明优先考虑语言包容性的合理性。
挑战和限制
虽然该数据集很有希望，但也并非没有警告。存储库中的语言识别很困难，因为文本示例通常很短并且与代码片段、命令或用户名混合在一起。因此，不应将分类视为确定的。此外，该数据集不包含敏感的用户级数据以维护隐私，从而将其范围限制为存储库级见解。
更大的图景
GitHub 的发布反映出人们越来越意识到人工智能中语言多样性的重要性。正如 Meta 的全语言 ASR 和 Hugging Face 的 FineTranslations 等多语言人工智能领域最近的突破所表明的那样，该行业正在朝着人工智能模型服务于更广泛的语言和文化的未来迈进。然而，差距仍然存在，特别是对于稀有和代表性不足的语言。
明天，GitHub 将在斯特拉斯堡的开放创新对话中心展示该数据集，该活动由 Microsoft 和欧洲委员会共同主办。讨论将集中于开放数据在多语言人工智能中的作用及其支持的文化遗产。通过发布此数据集，GitHub 旨在促进研究人员、政策制定者和开源社区之间的合作，以构建更具包容性的人工智能系统。
对于渴望做出贡献的研究人员和开发人员来说，该数据集已在 GitHub 上上线，等待进一步的探索和创新。随着多语言人工智能的不断发展，此类工具将在塑造全球软件开发的未来方面发挥关键作用。