大模型训练数据准备：网页数据清洗与结构化处理实战

大语言模型（LLM）的能力上限，很大程度上取决于训练数据的质量和多样性。无论是从零预训练一个行业垂直模型，还是对通用模型做微调（Fine-tuning），数据准备都是工作量占比最大、对最终效果影响最直接的环节。

2026年，国内大模型赛道竞争激烈，DeepSeek、文心一言、通义千问、智谱等模型持续迭代。越来越多的企业开始训练自己的行业专用模型——医疗问答、法律咨询、金融分析、电商客服等垂直场景。这些项目的共同痛点是：高质量训练数据从哪来？怎么处理？

训练数据的来源

公开网页数据

互联网上的公开内容是训练数据的主要来源。新闻网站、百科、论坛、技术博客、政府公告、学术论文——这些内容覆盖了各个领域的知识。Common Crawl项目每月抓取数十亿网页，是很多大模型预训练的基础数据源。

行业垂直数据

通用网页数据覆盖面广但行业深度不够。训练医疗模型需要医学文献和临床指南，训练法律模型需要裁判文书和法条解读，训练电商模型需要商品描述和用户评价。这类数据往往需要定向采集。

企业私有数据

企业自身积累的文档、邮件、客服记录、操作手册等，是微调行业模型的宝贵素材。这部分数据质量通常较高，但量级有限，更适合做监督微调（SFT）而不是预训练。

网页数据清洗流程

从网页采集到可用训练语料，中间要经过多道清洗处理：

1. HTML解析与正文提取

网页HTML中夹杂大量与正文无关的内容：导航栏、侧边栏、广告、页脚、评论区、JavaScript代码等。需要精准地从HTML中提取正文内容，去除所有噪声。

常用工具包括Readability算法、Trafilatura、newspaper3k等。不同类型的网站需要不同的提取策略——新闻网站的正文区域比较规范，论坛和博客则千差万别。

2. 文本去噪

提取出的正文仍然可能包含噪声：

• 广告文本：嵌入正文中的推广信息
• 重复模板：多个页面共享的固定文本（如版权声明、免责条款）
• 乱码：编码不正确导致的不可读字符
• 特殊符号：大量emoji、装饰性符号、零宽字符等
• 短文本：信息量太少的页面（如只有标题没有正文）

去噪规则需要根据数据源特点定制，不存在通用方案。

3. 语言检测与过滤

如果训练中文模型，需要过滤掉英文、日文等其他语言的内容。混合语言的页面（如技术文档中夹杂大量英文术语）需要单独处理——完全过滤会丢失有价值的技术内容，不过滤则影响模型的中文纯度。

4. 去重

互联网上的内容重复度很高——同一篇新闻被几十个网站转载，同一段产品描述出现在多个电商平台。训练数据中的重复内容会导致模型过度记忆这些文本，影响泛化能力。

去重分为精确去重（完全相同的文本）和模糊去重（高度相似的文本）。MinHash + LSH是处理大规模模糊去重的常用算法。

5. 质量评分

清洗后的文本需要进行质量评估：

• 信息密度：有实质性内容还是空洞的废话
• 逻辑连贯性：前后文是否通顺
• 事实准确性：是否包含明显的错误信息
• 时效性：内容是否过期

可以用规则打分（文本长度、标点密度、关键词覆盖率等）和模型打分（用小模型对文本质量做分类）结合的方式。

6. 格式化输出

最终输出格式取决于训练框架的要求。常见格式包括：

• JSONL：每行一条记录，包含text字段
• Parquet：列式存储，适合大规模数据集
• 对话格式：SFT场景需要的instruction-response对

数据质量与模型效果的关系

业界的共识是：10万条高质量数据的训练效果，往往优于100万条低质量数据。2023年微软发布的Phi模型证明了"小数据、高质量"路线的可行性——用精心筛选的教材级文本训练的小模型，在某些任务上超越了用海量数据训练的大模型。

这意味着数据清洗和质量筛选环节的投入，回报率远高于单纯增加数据量。

合规注意事项

大模型训练数据采集需要关注法律合规：

• 遵守数据源网站的robots协议和使用条款
• 不采集个人隐私数据（姓名、电话、身份证号等需要脱敏处理）
• 注意内容版权，特别是文学作品、音乐、影视等受版权保护的内容
• 保留数据来源记录，便于审计追溯

数据准备是大模型训练中最不起眼但最关键的环节。在这个"数据为王"的AI时代，掌握高质量数据处理能力的团队，才能训练出有竞争力的模型。