网站改版后旧数据迁移：历史内容采集和格式转换的技术方案

改版不是从零开始：旧数据迁移是必修课

企业网站改版是常见需求，但很多企业在改版时面临一个棘手问题：旧网站上积累了大量的产品介绍、新闻文章、案例展示等内容，这些内容不能丢。手动复制粘贴几百篇文章？效率太低。直接数据库导出？新旧系统的数据结构往往不同。

这时候，数据采集技术就派上了用场——从旧站抓取内容，经过清洗和格式转换后导入新站。

旧站数据迁移的常见场景

旧站还在运行

旧网站还能正常访问，可以直接通过爬虫采集页面内容。这是最常见也最简单的场景，只需要分析旧站的页面结构，提取标题、正文、图片、发布时间等字段。

旧站已经下线

如果旧网站已经关停，可以尝试从以下渠道恢复数据：数据库备份文件（如果有的话）、搜索引擎快照、Wayback Machine互联网档案馆、本地浏览器缓存或已下载的页面。

跨CMS系统迁移

从WordPress迁移到帝国CMS，或者从DEDECMS迁移到自研系统，不同CMS的数据库结构差异很大，需要做字段映射和格式转换。

技术实现步骤

第一步：分析旧站结构

在开始采集之前，先要梳理旧站的内容结构。需要明确的信息包括：有多少个栏目或分类？每个栏目有多少篇内容？内容页面的URL规律是什么？页面中的标题、正文、时间、作者等字段分别在什么位置（用什么HTML标签和class）？

建议先用浏览器开发者工具查看几个典型页面的HTML结构，记录关键字段的CSS选择器或XPath表达式。

第二步：编写采集脚本

使用Python + requests + BeautifulSoup（或Scrapy框架）编写采集脚本。脚本的基本流程是：先采集列表页获取所有文章的URL，然后逐个访问文章页面提取内容。

采集时需要注意控制请求频率（毕竟是自己的旧站，不必太快也不用太慢），处理分页逻辑，以及应对可能的编码问题（老网站常用GBK编码）。

第三步：内容格式转换

旧站的内容通常是HTML格式，新站可能需要Markdown或者特定的HTML结构。格式转换主要涉及以下处理：

去除旧站的页面模板代码，只保留正文区域的HTML。清理冗余标签（比如Word粘贴过来的大量style属性）。将HTML转换为Markdown（如果新站使用Markdown编辑器）。统一图片引用路径（从旧站URL替换为新站路径）。

Python的html2text库可以将HTML转换为Markdown，bleach库可以清理不需要的HTML标签和属性。

第四步：图片和附件迁移

内容中的图片和附件是迁移中最容易出问题的环节。需要做的事情包括：下载旧站的所有图片到本地（注意保持目录结构或重新命名），上传到新站的图片存储（服务器目录或对象存储），批量替换内容中的图片URL为新路径。

建议下载图片时按照原始分类存放，并生成一份新旧URL映射表，方便后续批量替换。

第五步：数据导入新站

将清洗后的数据按照新站的数据库结构导入。如果新站提供了API接口，通过API逐条导入是最安全的方式，可以利用新站的数据校验机制。如果只能直接操作数据库，务必先备份新站数据库，然后通过SQL脚本批量插入。

第六步：数据校验

迁移完成后，必须进行全量校验。检查项目包括：文章总数是否一致、标题和正文是否完整、图片是否都能正常显示、链接是否正确跳转、发布时间等元信息是否准确。

建议编写一个自动化校验脚本，逐条对比新旧站的内容，标记不一致的条目由人工复核。

常见问题和解决方案

编码乱码

旧站使用GBK编码，采集后出现乱码。解决方法是在requests中设置正确的编码，或使用chardet库自动检测编码。

图片防盗链

旧站设置了图片防盗链，直接下载会返回403或替换图。解决方法是在请求头中添加Referer字段。

动态渲染页面

旧站使用了AJAX加载内容，普通请求拿不到正文。这时候需要使用Playwright等无头浏览器来采集。

内容去重

旧站可能存在重复发布的内容，迁移时需要去重。可以通过标题相似度或正文哈希值来识别重复内容。

迁移完成后的SEO处理

数据迁移后，如果URL结构发生了变化，一定要做好301跳转。将旧站的URL逐条跳转到新站对应的URL，避免搜索引擎返回404，丢失已有的搜索排名和外链权重。

广州万户网络科技有限公司（https://www.gzwanhu.com/）在网站建设和数据迁移方面有丰富经验，提供从旧站内容采集到新站数据导入的全流程技术服务。需要网站改版和数据迁移方案的企业，欢迎拨打 020-22103921 或 135-3532-1113 咨询。