-
python模块requests参数stream
使用python requests模块下载大文件时,建议使用strea模式. 默认情况下是false,他会立即开始下载文件并存放到内存当中,倘若文件过大就会导致内存不足的情况. 当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下载之前,它也需要保持连接。 iter_…...
塵風- 0
- 0
- 1k
-
Python Counter()函数介绍 – 统计值出现的次数
Python Counter()函数介绍 Counter()函数 是collections模块(Python标准库中的一个模块)中的里面的一个类,作用是计算出字符串或者列表等中不同元素出现的个数,返回值可以理解为一个字典,所以对传回来的统计结果的操作都可以当作对字典的操作(Counter类继承dict类,所以它能使用dict类里面的方法) Note: 字符串还有一个内置的count(),只能统计字…...
塵風- 0
- 0
- 3.8k
-
Python虚拟环境使用
虚拟环境是独立的Python环境,在虚拟环境中通过安装第三方库,不会影响到本地的Python环境或者是其他虚拟环境,这样可以再不同项目对库的版本有不同需求的时候方便我们的使用。 笔记来源内容: 虚拟环境和包 — Python 3.9.13 文档 参考请注意python版本是否相同,其他版本的文档我没看过。 网上还找到了更加详细的虚拟环境相关内容,感兴趣可以自行前往查看: 最全的Python虚拟环境…...
塵風- 0
- 0
- 1.6k
-
Python requests 异常InsecureRequestWarning: Unverified HTTPS request is being made to host ‘***domain’. Adding certificate verification is strongly advised. See…解决
Python在使用requests模块的时候出现如下异常信息: C:\Python\Python39\lib\site-packages\urllib3\connectionpool.py:1043: InsecureRequestWarning: Unverified HTTPS request is being made to host 'you request domain…...
塵風- 0
- 0
- 1k
-
Python sort()函数详解 – Python列表排序函数
Python sort()函数介绍 sort()函数是Python 列表的一个方法,是python中的内置函数,sort()函数可以对列表进行就地排序。 只使用<来比较项之间的关系。如果任何比较操作失败,异常将不会被屏蔽(在排序过程中发生任何比较操作失败的异常,该异常将会被抛出,而不会被程序自动处理或忽略。) - 如果任何比较操作失败,整个排序操作将失败(并且列表可能会处于部分修改的状态)。…...
塵風- 0
- 0
- 1.2k
-
python错误: Object of type * is not JSON serializable解决
Object of type * is not JSON serializable错误是我在写爬虫的时候遇到的一个问题 引起函数 json.dumps()函数引起的 在处理数据的时候使用json.dumps()函数将dict(字典)数据类型转化为json数据的时候,促发了这个错误。 原因: 原因是转化的dict(字典)数据中有value数据没处理好,字典的值中包含了generator、byte(字…...
塵風- 0
- 0
- 6.4k
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。 在Unix,Windows中有效。 语法 walk()方法语法格式如下: os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...
塵風- 0
- 0
- 1.2k
-
PyCharm破解教程(简单长期稳定)
PyCharm破解教程(简单长期稳定)分享,本人重装系统后需要重新安装很多东西,pycharm就是其中一个,下面分享下pycharm的破解教程。如果你也想重装系统的话,可以点这里查看我分享的教程:简单快速重装windows纯净原版操作系统教程(无需U盘无需设置Bios) 注意:本文所分享的内容已经有较长时间了,具体是否可用博主已经不确定了,如果还需要使用旧版本pycharm的小伙伴可以试试,不然建…...
塵風- 0
- 0
- 4.6k
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况,这个时候我们需要给请求设置一个超时时间,而不是让程序一直在等待结果。写一个简单的例子: import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...
塵風- 0
- 0
- 1.4k
-
Python从列表中随机获取元素方法
Python从列表中随机获取元素方法:可以使用python中random模块的sample, choice, choices,randint方法来进行。下面我们一起来看下四种从列表中随机获取元素方法: sample random.sample(sequence, k) sample的作用是从指定序列中随机获取指定长度的片断并随机排列,结果以列表的形式返回。 注意:sample函数不会修改原有序列(…...
塵風- 0
- 0
- 6k
-
在Python中打开文件使用utf-8-sig和utf-8的区别
今天在使用Python读取CSV文件的时候,出现了一个KeyError的错误的,这个错误提示很明显,就是没有对应的列名,但是经过检查我的CSV文件中是有对应的列名的呀,然后编码格式我也检查了,这个时候我就想先打印列名看下,打印后就看出问题了。 问题原因 假设通过Excel打开我的CSV文件,列名是:列名1、列名2... 但是打印出的结果是如下: ['\ufeff列名1', …...
塵風- 0
- 0
- 1.2k
-
Python如何只导出当前Python文件所需模块包依赖
Python如何只导出当前Python文件所需模块包依赖? 之前在Python虚拟环境使用文章我分享过使用pip freeze导出当前虚拟环境的模块,但是有时候我们写的脚本只需要导出单个文件或者项目目录不是整个虚拟环境的时候,就不行了; 如果只需要导出当前Python文件所需模块包依赖我们可以使用pipreqs模块,下面是pipreqs的使用方法和经验分享: 安装pipreqs库 pip inst…...
塵風- 0
- 0
- 1.7k
-
PyCharm破解教程(2023.3最新版本)
PyCharm破解教程(2023.3最新版本)分享,之前分享的:PyCharm破解教程(简单长期稳定)测试的破解是2021版本的,我已经有一段时间没用了,现在都是用这个,下面就开始分享: 准备工作 下载安装pycharm的详细过程请你看:Pycharm安装教程(非常详细) Windows电脑安装Python解释器请你看:Windows python安装教程(超详细) 激活工具 把下面的激活工具下载…...
塵風- 0
- 11
- 3.1k
-
网站被黑,被搜索引擎收录垃圾信息删除处理教程
现在有非常多的站点被黑导致网站被搜索引擎收录了许多的色情、赌博信息,导致网站被降权,或者搜索品牌词的时候出现的站点信息变成了垃圾信息等情况,尽管有的企业不依赖SEO转化,但是品牌词有搜索量的公司遇见这种情况也是比较重要的问题。 注意:这篇文章是教你怎么处理/删除:被搜索引擎收录垃圾信息,而不是教你处理网站被黑(至于网站被黑这问题怎么处理,则太宽泛了,问题原因数不胜数,不是一篇文章说的清楚的)。 处…...
塵風- 0
- 0
- 2.1k
-
Python列表合并的6种方法
Python列表合并的6种方法分享,下面我共列举了6中合并列表的方法,在单个或者少量(3个内?)我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并,如果列表数量太多,可以考虑使用chain,详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据,下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...
塵風- 0
- 0
- 1.1k
-
Python支持中文变量名吗?
Python已经支持中文变量名 Python3.x 已经支持全面 Unicode 编码,支持使用中文作为变量名。(支持是支持,实际使用不使用是另外一回事哈哈,有时候用中文会有一些莫名其妙的问题...) 例如: 博主简介 = "博主是个超级无敌大帅哥" print(f"{博主简介}") # 博主是个超级无敌大帅哥 python文档2.3.标识符和关键字截图: …...
塵風- 0
- 0
- 1.4k
-
Python 将字符串转为字典
Python 将字符串转为字典可以使用ast模块中的literal_eval方法或者是json模块、eval方法。下面分享下这三种方法的示例代码: 注:虽然上面列举了三个在Python中可以实现将字符串转为字典的方法,但是推荐使用ast模块中的literal_eval方法进行,具体的原因会在下述说明,下面是详细的代码: 通过 json 来转换 我们可以直接使用json模块中的loads函数对字符串…...
塵風- 0
- 0
- 1k
-
Python Excel常用操作库+使用笔记分享
Python操作Excel表格的库有不少,我接触到的比较多的主要要“三个”,这篇文章主要是对它们几个之间的区别介绍和基础使用笔记,它们分别是:xlrd+xlwt,openpyxl库,csv库。并整理了对应的官方文档地址, 方便进行使用学习, 干货文章快快收藏吧. 介绍和区别 xlrd+xlwt xlrd+xlwt是两个库:xlrd用于读取,xlwt用于写入编辑,xlrd和xlwt可以读取格式为.x…...
塵風- 0
- 0
- 1k
-
Python爬虫:设置随机User-Agent模块fake-useragent
Python爬虫:设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.8k
-
Pycharm项目目录文件夹图标小圆点代表什么意思
Pycharm项目目录文件夹图标小圆点代表什么意思:带小圆点的目录则代表这是一个Python的包,这个目录里面会有__init__.py文件。 如下图所示: 带点和不带点区别 带有小圆点的文件夹目录是packkage,即Python的包,里面会有__init__.py文件 没有点的是一个directory,即是普通的文件夹 在文件夹添加或者删除__init__.py文件,它就会变成包或者普通文件夹…...
塵風- 0
- 0
- 1.6k












