浏览诸如WSJ、Bloomberg、财新等网站,会遇到付费会员才能观看的文章,或者是免费浏览几篇文章后需要付费才能观看更多,此类都可以称之为“付费墙”。
这里不讨论绕过付费墙的知识版权伦理方面的问题,只是单纯从技术角度描述一下原理、方案。
1、付费墙类型
付费墙主要有两大类:
a、客户端付费墙
服务器端不对用户权限进行检查,付费内容提前下载到浏览器或APP,由客户端对用户权限进行检查。如果无权限,则将付费内容隐藏,弹出付费订阅提示。
b、服务器端付费墙
服务器端对每一篇付费内容都会检查用户权限,如果无权限,直接弹出付费订阅提示,付费内容不会下载到客户端。
2、绕过付费墙的技术原理
由于不同的网站对用户权限的检查策略不同,整体而言,绕过付费墙的机制主要有如下几类:
a、禁用Javascript
b、禁用或清除Cookie
c、修改HTTP Header,通过修改 User-Agent、Referer、X-Forwarded-For等参数, 伪装为 :
Google Crawler
Google AdsBot
Twitter、Facebook等社交网站
d、伪装成移动端或Reader Mode或Incognito(无痕浏览模式),有一些付费墙对PC端和移动端或Reader mode的处理逻辑不同,因此可以通过伪装来绕过策略
如何用开发者工具绕过网站付费墙 作者介绍一种巧妙的方法,可以在开发者工具里面绕过付费墙提示的浮层。
e、有付费用户将付费文章通过 archive.ph 、archive.org 这样的在线归档服务备份,可以从这些在线归档站点付费内容,从而绕过付费墙
3、工具方案类型
要绕过付费墙,在iOS、Android以及PC(macOS、Windows)上可用的工具方案不同,因此分类说明一下。
各种付费墙的工具主要以浏览器扩展、Userscript脚本、网站、浏览器Booklets几种形式。
3.1、iOS(iPhone、iPad等)
iOS上支持扩展的浏览器推荐还是Safari。Safari 目前可以通过 Stay 2 ,Tampermonkey ,Userscripts ,Adguard ,拦截100 ,Hyperweb ,Addons – Scripts & Adblock ,Macaque 等APP来支持用户脚本。
推荐 Stay 2,免费开源。
3.2、Android
Android支持扩展的浏览器,推荐 Kiwi (基于Chromium内核),Iceraven (基于Firefox Gecko内核)。
3.3、PC(macOS、Windows)
推荐Chrome或Firefox+Violentmonkey
具体请参考:支持扩展的手机浏览器
4、Bypass Paywall工具集
4.1、Bypass Paywalls Clean
Bypass Paywalls Clean的仓库:https://gitflic.ru/user/magnolia1234
Chrome版本:https://github.com/bpc-clone/bypass-paywalls-chrome-clean
Firefox版本:https://github.com/bpc-clone/bypass-paywalls-firefox-clean
Adblocker filters版本:https://gitflic.ru/project/magnolia1234/bypass-paywalls-clean-filters
iOS上可以使用Adblocker filters版本。
推荐关注 @Magnolia1234B X(Twitter)账号,及时获取最新版本的更新通知。
Bypass Paywalls 和Bypass PayWalls Clean 的 关系,请参见:绕过付费墙工具Bypass Paywalls Clean的 Github因 DMCA 原因被关闭及应对方案
4.2、Remove Paywall(网页版)
iOS上可以直接使用
4.3、12ft
iOS版本:https://12ft.io/ios
iOS上也可以直接访问网页版
4.4、Bardeen
https://www.bardeen.ai/playbooks/remove-paywall
Bardeen 关于Bypass Paywall的几篇博文值得一看:
https://www.bardeen.ai/posts/extensions-to-bypass-paywall
https://www.bardeen.ai/posts/how-to-bypass-a-paywall
4.5、类似 archive.today 的归档网站
iOS上可以直接访问网站。
4.6、iOS捷径
4.7、Unpaywall
Unpaywall插件主要针对学术文章的付费墙。Unpaywall 会自动在学术数据库及其数据库中查找,然后为用户提供查找到的免费版本。
可以参考这篇文章 How to access paywalled research papers without institutional access ,虽然不是讲Unpaywall具体机制,有参考价值。
4.8、Medium 相关
Medium parser
https://github.com/Xatta-Trone/medium-parser-extension
绕过 medium 上的付费文章,支持Chrome和Firefox
ReadMedium:https://readmedium.com
Medium Unlocker:https://greasyfork.org/zh-CN/scripts/481493 ,油猴脚本
ReadMedium+Medium Unlocker,解锁Medium付费文章
Freedium:https://freedium.cfd/
4.9、Ladder
https://github.com/kubero-dev/ladder
4.10、1ft.io
4.11、13 Feet Ladder
https://github.com/wasi-master/13ft
12ft.io的自托管开源方案
4.12 、Archive Buttons
https://www.archivebuttons.com/
4.13、PaywallBuster
4.14、Bypass Paywall Reader
https://bypasspaywallreader.com/
集成了Google Cache、Internet Archive、Archive.is 、Archive.today、12ft.io
4.15、CachedView
CachedView,Google Webcache/Wayback Machine/Archive.today 网页快照一站式查看工具
WikiHow的 Access News Articles for Free: A Guide to Unlocking Paywalls 很值得一看
还有其他一些工具,也可以绕过付费墙,可以作为替补。
leiaisso:https://leiaisso.net
txtify.it:https://txtify.it 只有文本,无图片
ReadWise:https://readwise.io
Roam Rsearch Article
Hover:https://github.com/nathan-149/hover-paywalls-browser-extension
6、具体使用方案
第一步:使用以上工具测试解锁付费墙,应该能解锁大部分付费墙
第二步:对未解锁的网站,有技术背景的可以参考“2、绕过付费墙的技术原理”尝试。
一些常用工具
User-Agent Switcher and Manager
聚BT已经增加 “绕过付费墙”板块,访问路径:
更新日志
2024/08/31 新增 Bypass Paywall Reader、CachedView
2024/08/21 Bypass Paywalls 和 Bypass Paywalls Clean的Github仓库被封禁,更新
2024/07/30 新增 PaywallBuster
2024/06/19 新增 Freedium
2024/05/30 更新 Bypass Paywalls Clean for Chrome、Bypass Paywalls Clean for Firefox、Bypass Paywalls Clean filters
2024/01/29 新增 Archive Buttons
2023/12/11 新增 ReadMedium,Medium Unlocker
2023/11/10 新增 Ladder,1ft.io,13 Feet Ladder
2023/11/03 新增 Medium Parser
2023/05/25 新增 如何用开发者工具绕过网站付费墙
2023/04/19 初始化版本
转载请注明:出家如初,成佛有余 » 绕过付费墙Bypass Paywall详解