-
python模块requests参数stream
使用python requests模块下载大文件时,建议使用strea模式. 默认情况下是false,他会立即开始下载文件并存放到内存当中,倘若文件过大就会导致内存不足的情况. 当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下载之前,它也需要保持连接。 iter_…...
塵風- 0
- 0
- 760
-
使用Python批量检查网站友情链接
外链对SEO的重要性到今天我想已经不用多说了,友情链接则是我们在优化过程中毕竟经常使用的一种增加外链方法,不过外链还是需要定期的检查的,毕竟一些站长下链卖站了可能不一定会提醒...或者有的网站已经不续费了,域名过期被抢注,直接做灰黑产业站点,我们又没下链,那么排名可能就会直接消失..哈哈哈,但是我们网站多了,又不可能一个个人工去检查,像我之前公司以前SEO订单多的时候要优化100+站点,自己又有一…...
塵風- 0
- 0
- 517
-
Pycharm函数注释(参数和返回值)无法自动生成问题解决
正常使用Pycharm,对定义的函数书写注释(三个引号),Pycharm是会自动生成函数参数和返回值的注释格式,如下: 问题展示 # 定义一个函数 def test(a, b): """ # 再输入三个引号(单引号和双引号均可)后回车,会自动生成函数参数和返回值的注释 pass 正常情况: 输出结果为 def test(a, b): '''…...
塵風- 0
- 0
- 1.9k
-
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb9 in position 0: invalid start byte错误解决
今天在使用Python csv模块的时候,出现了这个错误,不过应该打开其他类型的文件,例如txt文件没指定正确的编码应该也会出现这个问题,可以一起参考下文章里面的解决方法,详细报错信息如下: Traceback (most recent call last): File "你的Python文件路径***.py", line 18(代码所在位置), in <module&g…...
塵風- 0
- 0
- 921
-
百度已收录404链接自动提取软件+使用教程-免费
软件介绍 现在有非常多的网站被黑然后搜索被搜索引擎收录了色情赌博一类的垃圾信息,我们站点被黑处理完成后把这些垃圾信息链接设置为404就需要对这些已经收录的链接进行提取,然后提交到百度资源平台删除,但是对于大部分没有技术基础的小伙伴来说,都只能一个个手动去复制,这样太过于麻烦了,所有开发了这个软件分享给大家。 关于处理流程的教程,我之前也分享了相关文章,如果你有需要,也可以查看: 网站被黑,被搜索引…...
塵風- 0
- 6
- 1k
-
Python列表合并的6种方法
Python列表合并的6种方法分享,下面我共列举了6中合并列表的方法,在单个或者少量(3个内?)我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并,如果列表数量太多,可以考虑使用chain,详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据,下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...
塵風- 0
- 0
- 736
-
python os.path.dirname(__file__)
os.path.dirname() 是python os.path 模块的一种方法: 作用: 返回文件路径(只是路径 不包含文件名) os.path.dirname(path) # 返回路径path的目录名称 os.path.dirname(__file__) # 直接返回当前文件路径 os.path.dirname()注意点: os.path.dirname() 和os.path.basenam…...
塵風- 0
- 0
- 955
-
fake-useragent模块报错:rror occurred during loading data. Trying to use cache server解决方法
rror occurred during loading data. Trying to use cache server报错原因: fake-useragent模块需要在线下载包含useragent信息的json文件,但是由于国内网络的特殊原因,现在如果直接使用,会出现如下报错提示: rror occurred during loading data. Trying to use cache s…...
塵風- 0
- 0
- 862
-
Python使用 pytesseract 进行图片识别
在编写爬虫的时候,如果遇见参数图片化的情况的(例如登录验证码),就需要对图片验证码进行识别,我们就可以使用pytesseract。 pytesseract简介 pytesseract是一款用于光学字符识别(OCR)的python工具,即从图片中识别出和“读取”其中嵌入的文字。 底层使用的是Google的Tesseract-OCR 引擎(Tesseract是一个开源文本识别 (OCR) 引擎(注意:…...
塵風- 0
- 0
- 2.3k
-
Python requests获取状态码
Python requests获取状态码可以通过status_code获取,例如: r = requests.get('https://httpbin.org/get') print(r.status_code) # 打印状态码 但是:requests默认不会获取301/302状态码。使用上述代码如果请求了一个被301/302跳转的URL,也会返回跳转后的状态码,如果是正常请求…...
塵風- 0
- 0
- 1.5k
-
Python爬虫报错:(Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:1129)’)))解决
今天在写爬虫的时候遇到一个错误,即: requests.exceptions.SSLError: HTTPSConnectionPool(host='httpbin.org', port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLEOFError(8, 'EOF occurred …...
塵風- 0
- 0
- 17.1k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决,在使用Python requests的proxy代理功能的时候出现了这个错误,意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...
塵風- 0
- 0
- 854
-
Windows下将Pycharm终端更改为PowerShell
Windows下将Pycharm终端更改为PowerShell:我们都知道power shell不管是从功能上还是性能上都要比CMD要强大得多,我们安装了power shell后,可以将pycharm编辑器中的默认终端切换为power shell,方便我们的使用。 更改流程 1:找到power shell路径 先搜索到我们的power shell,右键,然后选择打开文件位置 打开是几个快捷键:我们…...
塵風- 0
- 0
- 2.2k
-
Python入门学习资料推荐
我一直有建议身边和网上的一些朋友学Python(Python的应用范围很广,会编程可以很好的提高我们的工作效率,对一些工作进行批量、自动化的处理),再加上肯定也有一些网上的小伙伴想学习不会找或者是想找合适的资料的,我以后也要分享Python相关的东西,在这之前就先把这个入门的问题解决了,今天就顺便推荐下我觉得好的Python入门学习资料。 下面我推荐的教程主要推荐是黑马程序员和白月黑羽这两家的。 …...
塵風- 0
- 0
- 580
-
Python reversed 函数 – 对序列进行逆序操作
Python reversed 函数是一个Python内置函数,它可以对序列进行逆序操作。 序列可以是列表、元组、字符串等,通过使用reversed()函数,我们可以快速简便地将序列中的元素进行逆序排列。我们也可以用它来实现for循环反向遍历。 reversed()函数语法 reversed(sequence) 参数 sequence即是要进行逆序操作的序列( tuple, string…...
塵風- 0
- 0
- 401
-
Python爬虫:设置随机User-Agent模块fake-useragent
Python爬虫:设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.4k
-
Python 字典判断键是否存在
Python 字典判断键是否存在可以使用has_key()方法、 __contains__(key)方法、in 操作符。下面是详细介绍和实例代码: has_key()方法 Python 字典(Dictionary) has_key() 函数用于判断键是否存在于字典中,如果键在字典 dict 里返回 true,否则返回 false。 注意:Python 3.X 不支持该方法。 语法 has_key(…...
塵風- 0
- 0
- 1.6k
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现,再Python中列表实现这样的需求就很简单,我们可以直接通过切片获取,不过字典没有切片,我们就先取出所有 keys,再用拿到的key去取value,在组成一个新的字典就可以了。 注意: sorted函数、Counter(dic…...
塵風- 0
- 0
- 1k
-
Python enumerate() 函数,Python将列表转换为索引:元素的字典
Python将列表转换为索引:元素的字典可以使用Python enumerate() 函数,enumerate() 函数是Python中的一个内置函数。 enumerate() 函数 介绍 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。 Python 2.3. 以上版本可用,2.6 添加 sta…...
塵風- 0
- 0
- 794
-
Pycharm安装教程(非常详细)
PyCharm简介 PyCharm是一款由JetBrains公司开发的集成开发环境(IDE),专门用于Python编程。PyCharm可以说是Python开发者首选的IDE之一,适用于从初学者到专业开发者的各种需求。 它提供了丰富的功能和工具,帮助开发者更高效地编写、调试和部署Python代码。PyCharm具有智能代码补全、代码导航、调试器、版本控制集成、内置终端等功能,使得开发过程更加流畅和便…...
塵風- 0
- 0
- 2.1k












