跨出版商论文 PDF 下载能力 实测报告
测试时间 2026-09-16 · 环境：Windows + 校园网 VPN（机构 IP 认证已生效）· 方法：统一浏览器请求头 + curl · DOI 经 OpenAlex 解析，不靠猜测
核心结论：这套技术的"内核"确实通用，但不存在万能脚本。
12 家主流出版商里 9 家可以直接用同一套方法跑通。真正决定成败的不是出版商，而是它背后用的是哪一档风控产品——
只要补齐浏览器指纹头就能过的那类，脚本完全够用；而用了强反爬体系的，脚本路线基本走不通，得回到浏览器自动化。
先回答第一个问题：靠脚本还是浏览器？
- 最终跑通 58 篇靠的是脚本（curl），不是浏览器自动化。
- 浏览器那套（
opencli browser + CDP 驱动的独立 Chrome）在侦察阶段功不可没：探明检索接口、确认机构权限、验证 PDF 可访问。
- 但真到批量下载时它处处碰壁：往本地端口回传数据被 Chrome 的本地网络访问权限拦住、账号登录态在无痕窗口里丢失、调试目标被导航打断。
- 而 curl 一旦摸对写法（浏览器头 + 两步走预热），又快又稳——58 篇 285 MB 全量下载零失败。
实测结果：三档分类
🟢 第一档 · 直接可用（换 URL 就行，同一套脚本）
| 站点 | 可用 URL 模式 | 实测 |
|---|
| arXiv | /pdf/<id> | 200 · PDF |
| Nature | /articles/<doi后缀>.pdf | 2.93 MB |
| Springer Link | /content/pdf/<doi>.pdf | 200 · PDF |
| Science.org (AAAS) | /doi/pdf/<doi> | 200 · PDF |
| IOPscience | /article/<doi>/pdf | 200 · PDF |
| Frontiers | /journals/<刊名>/articles/<doi>/pdf ⚠️ 新版路径 | 3.26 MB |
| Wiley | /doi/pdfdirect/<doi> + 两步走 | 0.56 MB |
| ACM Digital Library | /doi/pdf/<doi> + 两步走 | 0.45 MB |
| IEEE Xplore | /stampPDF/getPDF.jsp?arnumber=<id> + 两步走 + 跟随 &tag=1 | 58 篇已验证 |
🟡 第二档 · 站点可达，但要额外解析
| 站点 | 障碍 | 实测 |
|---|
| MDPI | PDF 地址不是 DOI 派生的，是 /<issn>/<卷>/<期>/<页>/pdf，必须从落地页解析 | 404 · 站点正常 |
| Taylor & Francis | PDF 端点返回 HTML，真实链接要从落地页里解析 | 200 · HTML |
🔴 第三档 · 脚本路线基本走不通
| 站点 | 障碍 | 实测 |
|---|
| Elsevier / ScienceDirect | 强风控体系，且无通用 PDF URL 模式（PII 无法从 DOI 推导） | 403 |
| Oxford Academic | 403 风控拦截 | 403 |
| SAGE | 连接层面就不通（443 端口 21 秒超时），疑似网络路由或 IP 段被拒 | 连接失败 |
决定成败的是什么？
不是出版商，是风控产品
- 只要补齐指纹就能过（Incapsula、Cloudflare 基础档）→ 关键就是带全套
Sec-Fetch-Dest/Mode/Site/User、完整 Accept、Upgrade-Insecure-Requests。IEEE、Wiley、ACM 都属这类。
- 两步走预热是解锁关键：先访问落地页拿 cookie，再带
Referer 请求 PDF。Wiley 和 ACM 在一轮测试里返回网页，加了这一步就都成功了。
- 强反爬体系（ScienceDirect、Oxford）会做行为分析，脚本即使带全头也会被识别，这时只能上浏览器自动化或手动。
三条通用铁律（跨站都适用）
- 必须校验
%PDF- 魔数，不能只看 HTTP 状态码。风控挑战页会返回 200 + text/html 或 202，看着像成功其实不是 PDF——我第一次批量下载 40 篇全军覆没就是这个原因。
- 优先走机构 IP 认证，别依赖账号登录态。校园网 VPN 连上后 curl 直接就能用；账号登录在无痕窗口里一关就全丢。
- 顺序是先查开放获取，再查订阅。OpenAlex 的
best_oa_location 能直接给出合法的开放 PDF，命中率很高，能省掉大量权限麻烦。
实用建议
- 做综述/调研时优先用 arXiv + 开放获取。SLAM、CV、机器人领域的顶会论文绝大多数有 arXiv 预印本，脚本直连零阻力。
- Elsevier / Oxford 的论文，先找替代版本。通常 arXiv 上有预印本，或作者主页、机构仓库、PMC 有合法副本。
- 真要下强风控站点的订阅内容，建议手动下载后放进目录——批量自动化的工程量不划算。
- 这套能力本质上是把你本来就有的合法访问权自动化了（开放获取内容 + 你所在机构的订阅范围），下载后请遵守各出版商的使用条款，仅供个人研读。