5.7.4无法使用ScienceDirect下载论文
-
- 帖子: 5
- 注册时间: 2025年 3月 18日 21:05
5.7.4无法使用ScienceDirect下载论文
下载时显示There was a problem providing the content you requested,但是换成edge就可以下载。
- catsxp
- 网站管理员
- 帖子: 4143
- 注册时间: 2022年 12月 26日 17:41
Re: 5.7.4无法使用ScienceDirect下载论文
能本地复现...
F12 提示 Uncaught SyntaxError: Invalid or unexpected token
个人认为是该网站策略问题,有可能是该网站认为使用catsxp访问会被误判为爬虫程序
F12 提示 Uncaught SyntaxError: Invalid or unexpected token
个人认为是该网站策略问题,有可能是该网站认为使用catsxp访问会被误判为爬虫程序
-
- 帖子: 30
- 注册时间: 2023年 6月 13日 15:31
Re: 5.7.4无法使用ScienceDirect下载论文
5.7.5一样,我就说我最近怎么下不了文献佬,请问有什么解决办法吗?改UA?
- catsxp
- 网站管理员
- 帖子: 4143
- 注册时间: 2022年 12月 26日 17:41
Re: 5.7.4无法使用ScienceDirect下载论文
不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
-
- 帖子: 30
- 注册时间: 2023年 6月 13日 15:31
Re: 5.7.4无法使用ScienceDirect下载论文
问题是原来的版本是好的catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
-
- 帖子: 30
- 注册时间: 2023年 6月 13日 15:31
Re: 5.7.4无法使用ScienceDirect下载论文
使用一个移动浏览器模拟扩展(https://chrome.google.com/webstore/deta ... k?hl=zh-CN)发现不会直接提示There was a problem providing the content you requested。会变成Are you a robot?Please confirm you are a human by completing the captcha challenge below.catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
但是点击cf的确认您是真人按钮,页面会刷新,但是还是会卡cf的验证
-
- 帖子: 30
- 注册时间: 2023年 6月 13日 15:31
Re: 5.7.4无法使用ScienceDirect下载论文
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
-
- 帖子: 5
- 注册时间: 2025年 3月 18日 21:05
Re: 5.7.4无法使用ScienceDirect下载论文
请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证liangxy 写了: 2025年 7月 25日 23:47测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
-
- 帖子: 30
- 注册时间: 2023年 6月 13日 15:31
Re: 5.7.4无法使用ScienceDirect下载论文
我这边测试F12开启移动设备模拟后就正常了wryyyyy 写了: 2025年 7月 30日 11:39请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证liangxy 写了: 2025年 7月 25日 23:47测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放