本文详解如何使用pandas查看dataframe的重复数据,判断是否重复,以及如何去重 DataFrame.duplicated(subset=None, keep='first') subset:如果你认为几个字段重复,则数据重复,就把那几个字段以列表...
网站建设
使用python批量生成insert语句的方法
1.建表语句 2.目标insert语句 INSERT INTO `bidprcu_dic_a`( `DIC_ID`, `DIC_TYPE_CODE`, `DIC_TYPE_NAME`, `DATA_DIC_CODE`, `DATA_DIC_NAME`, `PRNT_CODE`, `SRT`, `MEMO`, `DATA_SOUC`, `RID`, `CRTER_ID`, `CRTER_NAME`, `CRTE_OPTINS_NO`, `CRTE...
python 序列解包的多种形式及用法解析
序列解包(Sequence Unpacking) 是Python中非常重要和常用的一个功能,可以使用非常简洁的形式完成复杂的功能,大幅度提高了代码的可读性,减少了程序员的代码输入量。 例如,可以使...
Python批量图片去水印的方法
平常工作中,有时为了采用网络的一些素材,但这些素材往往被打了水印,如果我们不懂PS就无法去掉水印,或者无法批量去掉水印。这些就很影响我们的工作效率。 今天我们就一起来...
解决Python运算符重载的问题
python进行有理数运算时,希望用运算符(+ - * /)描述计算过程。 只是用来写出更加自然的计算表达式。为此,python为所有算数运算符规定了特殊方法名。其中所有特殊的名字都以两个...
Django操作cookie的实现
前言 cookie:在网站中,http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户。 cookie 的出现就是为了解决这个...
python文本处理的方案(结巴分词并去除符号)
看代码吧~ import reimport jieba.analyseimport codecsimport pandas as pddef simplification_text(xianbingshi): """提取文本""" xianbingshi_simplification = [] with codecs.open(xianbingshi,'r','utf8') as f: for line in f : line = line.s...
python numpy中multiply与*及matul 的区别说明
1、对于矩阵(matrix)而言 multiply是对应元素相乘,而 * 、np.matmul() 函数 与 np.dot()函数 相当于矩阵乘法(矢量积),对应的列数和行数必须满足乘法规则;如果希望以数量积的方式进行...
tensorflow中的梯度求解及梯度裁剪操作
1. tensorflow中梯度求解的几种方式 1.1 tf.gradients tf.gradients( ys, xs, grad_ys=None, name='gradients', colocate_gradients_with_ops=False, gate_gradients=False, aggregation_method=None, stop_gradients=None, unconnected_gradients=...
Django分页器的用法你都了解吗
目录 1、准备基础数据 2、一次性展示数据 3、引入分页器 Django 是一个大而全的框架。需要明确的是,传参进行分页获取分页后的数据,一般都是通过向服务器发送 get 请求的方式实现的...
TensorFlow的自动求导原理分析
原理: TensorFlow使用的求导方法称为自动微分(Automatic Differentiation),它既不是符号求导也不是数值求导,而类似于将两者结合的产物。 最基本的原理就是链式法则,关键思想是 在基...
python基础学习之递归函数知识总结
目录 一、递归函数使用注意点 二、递归的效率问题 三、递归函数引入 四、递归的深度 五、通过缓存解决递归限制 六、递归函数使用示例 一、递归函数使用注意点 递归函数一定要编...
使用tensorflow 实现反向传播求导
看代码吧~ X=tf.constant([-1,-2],dtype=tf.float32)w=tf.Variable([2.,3.])truth=[3.,3.]Y=w*X# cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth)))))cost=Y[1]*Yoptimizer =...
详解Python魔法方法之描述符类
描述符类要求: 描述符就是将某种特殊类型的类的实例指派给另一个类的属性 至少要实现以下的一个方法: __get__(self, instance, owner)–用于访问属性,它返回属性的值__set__(self, instanc...
tensorflow中的数据类型dtype用法说明
Tensorflow中,主要有以下几种数据类型(dtype),在旧版本中,不用加tf也能使用。 有符号整型 tf.int8:8位整数。 tf.int16:16位整数。 tf.int32:32位整数。 tf.int64:64位整数。 无符号整型...
浅谈tf.train.Saver()与tf.train.import_meta_graph的要点
(一)、tf.train.Saver() (1). tf.train.Saver() 是用来保存tensorflow训练模型的,默认保存全部参数 (2). 用来加载参数,注:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载,...
解决Python字典查找报Keyerror的问题
Python的字典一般都直接查找key ,比如 dict={'a':1,'b':2,'c':3}print(dict['a']) 但是如果在查找的key不存在的时候就会报:KeyError: 比如你要查看print(dict['d']) 由于这个时候dict里面并没有这个key...
基于tensorflow权重文件的解读
1.解读tensorflow权重文件,透过 tf.train.NewCheckpointReader函数。 2.reader.get_variable_to_shape_map()可以得到权重文件里面的tensor名称。 3.reader.get_tensor(key) 可以得到对应tensor的权重值。 import tensorf...
python结合多线程爬取英雄联盟皮肤(原理分析)
1.什么是多线程? 多线程是为了同步完成多项任务,不是为了提高运行效率,而是为了提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 为什么...
pytorch 如何自定义卷积核权值参数
pytorch中构建卷积层一般使用nn.Conv2d方法,有些情况下我们需要自定义卷积核的权值weight,而nn.Conv2d中的卷积参数是不允许自定义的,此时可以使用torch.nn.functional.conv2d简称F.conv2d torch....
python3+selenium4实现切换窗口与iframe的方法
在自动化测试过程中,有时后会遇到元素定位方式没有问题,但是依旧抛出无法找到元素的异常的问题,通常情况下,如果元素定位没有问题,但还是无法找到元素,则可能是由于当前...
Qt Quick QML-500行代码实现合成大西瓜游戏
目录 1.游戏介绍 2.向量介绍 3. 单位向量 4. 向量与单位向量点乘 5.小球碰撞情景 5.1 获取v1n和v2n 5.2 计算碰撞后的速度方向 6. 小球擦肩而过情景 7. 小球一直降落在所有小球的正上方情景...
python列表数据增加和删除的具体实例
1、使用 append 函数来为列表 list 添加数据,默认将数据追加在末尾。 # !usr/bin/env python# -*- coding:utf-8 _*-"""@Author:猿说编程@Blog(个人博客地址): www.codersrc.com@File:python列表list.py@Time:2021/3/22...
pytorch固定BN层参数的操作
背景: 基于PyTorch的模型,想固定主分支参数,只训练子分支,结果发现在不同epoch相同的测试数据经过主分支输出的结果不同。 原因: 未固定主分支BN层中的running_mean和running_var。 解...
Python多线程与多进程相关知识总结
目录 一、什么是进程 二、什么是线程 三、并发、并行 3.1 并发 3.2 并行 四、多线程适用场景 五、Python GIL 六、Python多线程、多进程实例:CPU 密集型任务 6.1 单线程 6.2 多线程 6.3 多进程...
pytorch LayerNorm参数的用法及计算过程
说明 LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差,因此train()和eval()对LayerNorm没有影响。 LayerNorm参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, el...
Python脚本文件外部传递参数的处理方法
目录 前言 一、流文本处理 二、argparse 模块 三、argv 列表 四、argv + argparse 前言 我们写的 Python 脚本需要修改参数,当我们将脚步上传到服务器或者给不会编程的人用时,会比较不方便...
Python实现网络自动化eNSP
目录 1.使用Paramiko登陆到单台交换机 实验拓扑 实验要求 2.使用Paramiko登陆到连续子网交换机 实验拓扑 实验要求 实验步骤 3.Paramiko登陆不连续子网交换机 实验拓扑 实验要求 4.sys.argv[ ]...
pytorch中LN(LayerNorm)及Relu和其变相的输出操作
主要就是了解一下pytorch中的使用layernorm这种归一化之后的数据变化,以及数据使用relu,prelu,leakyrelu之后的变化。 import torchimport torch.nn as nnimport torch.nn.functional as Fclass model(nn.Module):...
解决Pytorch中Batch Normalization layer踩过的坑
1. 注意momentum的定义 Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的,默认的momentum=0.1 BN层里的表达式为: 其中γ和β是可以学习的参数。在Pytorch中,BN层的类的参数有:...
使用Gitee自动化部署python脚本的详细过程
目录 一、前期准备 1.1 安装环境 二、python代码 2.1 源码 2.2 注意事项 一、前期准备 1.1 安装环境 1、安装python3 2、打开命令行安装selenium pip install selenium 二、python代码 2.1 源码 #!/usr/bin/...
教你使用Python pypinyin库实现汉字转拼音
一、前言 这里我先为大家提供一个中文网站,大家可以下去更深入的学习。 https://pypi.org/project/pypinyin/ pypinyin库,主要有几下几个特性: 智能匹配最正确的拼音; 支持多音字、繁体字...
使用Python脚本对GiteePages进行一键部署的使用说明
本次系统环境 os: Deepin(Linux) Python: 3.7 lib: PyYAML=5.3.1 | selenium=3.141.0 extend_driver: chromedriver 使用说明 参数 Python脚本和config.yaml配置文件中包含的参数信息 repo_user_name = "Gitee用户名"repo_n...
pytorch 实现在测试的时候启用dropout
我们知道,dropout一般都在训练的时候使用,那么测试的时候如何也开启dropout呢? 在pytorch中,网络有train和eval两种模式,在train模式下,dropout和batch normalization会生效,而val模式下,d...
Python开发之QT解决无边框界面拖动卡屏问题(附带
目录 1.简介 2.如何解决 3.虚线框类代码 4.测试UI界面如下图所示 5.拖动时的效果图如下所示 1.简介 看到很多才学QT的人都会问为啥无边框拖动为啥会花屏? 那是因为你每次拖动的过程中...
PyTorch 实现L2正则化以及Dropout的操作
了解知道Dropout原理 如果要提高神经网络的表达或分类能力,最直接的方法就是采用更深的网络和更多的神经元,复杂的网络也意味着更加容易过拟合。 于是就有了Dropout,大部分实验表...
Pytorch 如何实现常用正则化
Stochastic Depth 论文:Deep Networks with Stochastic Depth 本文的正则化针对于ResNet中的残差结构,类似于dropout的原理,训练时对模块进行随机的删除,从而提升模型的泛化能力。 对于上述的Re...
Pytorch中的数据集划分&正则化方法
1.训练集验证集测试集 训练集:训练数据 验证集:验证不同算法(比如利用网格搜索对超参数进行调整等),检验哪种更有效 测试集:正确评估分类器的性能 正常流程:验证集会记录...
让文件路径提取变得更简单的Python Path库
一、Path 是什么? 该模块提供表示文件系统路径的类,其语义适用于不同的操作系统。路径类被分为提供纯计算操作而没有 I/O 的 纯路径,以及从纯路径继承而来但提供 I/O 操作的 具体...
浅谈pytorch中的dropout的概率p
最近需要训练一个模型,在优化模型时用了dropout函数,为了减少过拟合。 训练的时候用dropout,测试的时候不用dropout。刚开始以为p是保留神经元的比率,训练设置0.5,测试设置1,los...
pytorch Dropout过拟合的操作
如下所示: import torchfrom torch.autograd import Variableimport matplotlib.pyplot as plttorch.manual_seed(1)N_SAMPLES = 20N_HIDDEN = 300# training datax = torch.unsqueeze(torch.linspace(-1, 1, N_SAMPLES), 1)y = x + 0.3 * torch.normal(...
PyTorch dropout设置训练和测试模式的实现
看代码吧~ class Net(nn.Module):…model = Net()…model.train() # 把module设成训练模式,对Dropout和BatchNorm有影响model.eval() # 把module设置为预测模式,对Dropout和BatchNorm模块有影响 补充:Pytorch遇到的...
只需要100行Python代码就可以实现的贪吃蛇小游戏
目录 图示 基本准备 游戏显示 贪吃蛇和树莓 图示 基本准备 首先,我们需要安装pygame库,小编通过pip install pygame,很快就安装好了。在完成贪吃蛇小游戏的时候,我们需要知道整个游戏...
Python深度学习之使用Albumentations对图像做增强
目录 一、导入所需的库 二、定义可视化函数显示图像上的边界框和类标签 三、获取图像和标注 四、使用RandomSizedBBoxSafeCrop保留原始图像中的所有边界框 五、定义增强管道 六、输入用...
Python GUI之如何使用tkinter控件
目录 一、功能按钮 二、文本框 三、练习一 四、练习二:计算器 一、功能按钮 格式:Button(父对象,options,…) 父对象:表示当前按钮建立在哪一个窗口下。 options:下面总结一部常...
Python数据结构之优先级队列queue用法详解
目录 一、基本用法 二、LIFO队列 三、优先队列 一、基本用法 Queue类实现了一个基本的先进先出容器。使用put()将元素增加到这个序列的一端,使用get()从另一端删除。具体代码如下所示...
Python基础之模块相关知识总结
目录 一、什么是模块 二、导入模块 三、name =‘main ' 四、搜索路径 一、什么是模块 容器 - 数据的封装 函数 - 语句的封装 类 - 方法和属性的封装 模块 - 模块就是程序,模块就是.py文件...
Matplotlib绘制混淆矩阵的实现
对于机器学习多分类模型来说,其评价指标除了精度之外,常用的还有混淆矩阵和分类报告,下面来展示一下如何绘制混淆矩阵,这在论文中经常会用到。 代码如下: import itertoolsimp...
教你使用pyinstaller打包Python教程
目录 一、单个文件打包 1.1 简单打包 1.2 带图标打包 二、项目多文件打包 三、打包后文件太大 一、单个文件打包 1.1 简单打包 例如现在有一个main.py文件内容如下 import osprint("hello worl...
Python基础学习之奇异的GUI对话框
目录 一、漂亮的标签图和按钮图 二、窗口协议与窗口顶层 三、标准对话框是模态对话框 四、标准对话框的多栏使用 一、漂亮的标签图和按钮图 这个标签的设置config,如果熟悉office的...