5.7.4无法使用ScienceDirect下载论文

您的反馈很重要!
回复
wryyyyy
帖子: 5
注册时间: 2025年 3月 18日 21:05

5.7.4无法使用ScienceDirect下载论文

帖子 wryyyyy »

下载时显示There was a problem providing the content you requested,但是换成edge就可以下载。
wryyyyy
帖子: 5
注册时间: 2025年 3月 18日 21:05

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 wryyyyy »

更新,使用360浏览器也能正常下载
头像
catsxp
网站管理员
帖子: 4143
注册时间: 2022年 12月 26日 17:41

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 catsxp »

能本地复现...
F12 提示 Uncaught SyntaxError: Invalid or unexpected token
个人认为是该网站策略问题,有可能是该网站认为使用catsxp访问会被误判为爬虫程序
liangxy
帖子: 30
注册时间: 2023年 6月 13日 15:31

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 liangxy »

5.7.5一样,我就说我最近怎么下不了文献佬,请问有什么解决办法吗?改UA?
头像
catsxp
网站管理员
帖子: 4143
注册时间: 2022年 12月 26日 17:41

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 catsxp »

不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
liangxy
帖子: 30
注册时间: 2023年 6月 13日 15:31

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 liangxy »

catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
问题是原来的版本是好的
liangxy
帖子: 30
注册时间: 2023年 6月 13日 15:31

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 liangxy »

catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
使用一个移动浏览器模拟扩展(https://chrome.google.com/webstore/deta ... k?hl=zh-CN)发现不会直接提示There was a problem providing the content you requested。会变成Are you a robot?Please confirm you are a human by completing the captcha challenge below.
但是点击cf的确认您是真人按钮,页面会刷新,但是还是会卡cf的验证
liangxy
帖子: 30
注册时间: 2023年 6月 13日 15:31

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 liangxy »

catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12
wryyyyy
帖子: 5
注册时间: 2025年 3月 18日 21:05

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 wryyyyy »

liangxy 写了: 2025年 7月 25日 23:47
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12
请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证
liangxy
帖子: 30
注册时间: 2023年 6月 13日 15:31

Re: 5.7.4无法使用ScienceDirect下载论文

帖子 liangxy »

wryyyyy 写了: 2025年 7月 30日 11:39
liangxy 写了: 2025年 7月 25日 23:47
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12
请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证
我这边测试F12开启移动设备模拟后就正常了
回复