摘要

VNC属于一种显示系统,也就是说他能将完整的窗口界面通过网络,传输到另一台计算机的屏幕上.
Windows服务器中包含的”Terminal Server”、Symantec公司开发的收费软件PCAnywhere、近期流行的Teamviewer、国内的协通XT800、快递通KDT都是属于这种原理的设计，同时这些软件又在VNC的原理基础上做了各自相应改进，提高了易用性、连通率和可穿透内网（Teamviewer、协通XT800、 KDT）.

同样可能远程连入UNIX、Linux进行图形化操作的还有流行的Xmanager，VNC与之相比——两者工作原理不一样。
VNC是远程连入操作系统，所有操作在UNIX、Linux主机服务端进行，即使操作过程中”本地电脑与操作主机网络断开”，也不影响操作的顺利进行；

Xmanager是通过端口将主机服务器的UI界面引导到本地电脑进行展现，如操作过程出现”本地电脑与操作主机网络断开”，操作将中断失败！如果操作都进行的工作任务非常重要，不能中断，如ORACLE RAC实施，结果是灾难性的！
更重要的是，VNC是免费的、开源的，Xmanager你一定是用的破解注册版的。

VNC组成部分

VNC基本上是由两部分组成：一部分是客户端的应用程序(vncviewer)；另外一部分是服务器端的应用程序(vncserver)。
VNC的基本 运行原理和一些Windows下的远程控制软件很相象。VNC的服务器端应用程序在UNIX和Linux操作系统中适应性很强，图形用户界面十分友好。在任何安装了客户端的应用程序(vncviewer)的Linux平台的计算机都能十分方便的和安装了服务器 端的应用程序(vncserver)的计算机相互连接。另外，服务器端 (vncserver)还内建了Java Web接口，这样用户通过服务器端对其他计算机的操作就能通过Netscape显示出来了，这样的操作过程和显示方式比较直观方便。

命令描述

内置了 vncconfig vncfinger.sh vncpasswd vncserver vncviewer Xvnc这5个命令。
其中最常用的命令是 vncserver 。

1. vncserver 此服务程序必须在主（或遥控）计算机上运行。你只能作为使用者使用此项服务。

vncviewer 本地应用程序，用于远程接入运行vncserver的计算机并显示其环境。

你需要知道远程计算机的IP地址和vncserver设定的密码。

vncpasswd vncserver的密码设置工具。vncserver服务程序没有设置密码将不能运行（好习惯）。如果你没有设置，运行vncserver时它会提示你输入一个密码。
vncconnect 告诉vncserver连接到远程一个运行vncviewer的计算机的IP和端口号。这样我就可以避免给其他人一个接入的密码。
Xvnc 一个vnc”主控”程序，一般来说不需要直接运行。（vncserver和vncviewer实际上是Xvnc的脚本）

查找所有可用的选项，运行：

Xvnc –help

出于安全的考虑，一般不建议直接以超级用户帐号运行vncserver程序。如果你需要超级用户的环境，请以一般用户登录后再使用su命令登录到超级用户帐号。

客服端推荐

1. MobaXterm (非常推荐)
2. tightVNC (推荐)

开启VNCServer 服务

vncserver -geometry 1920x1080 :65

需要输入用户名和密码 建议和linux服务电脑用户一样

然后在VNCVIEWER客服端上就可以登陆,凭借端口号和密码登录。

vncrun maestro

进入全屏 【tight VNC VIEWER】

ctrl+alt+shift+F

退出全屏 【tight VNC VIEWER】

ctrl+alt+shift+f

VNC 配置文件

cd ~/.vnc

查看 开放的端口

[XXX@hostname .vnc]$ vncserver -list

TigerVNC server sessions:
X DISPLAY # PROCESS ID
:66 22712
:65 46755

重启VNC服务

到putty 中

vncserver -kill :65
vncserver -geometry 1920x1080 :65
vncserver -geometry 1920x1080 :16

一般来说出问题后，还原配置，清理临时文件，再重启服务器或重启vncserver服务即可解决

重启vncserver 就可以了，大约需要等待5到10分钟。

在服务器的终端输入 vncconfig 就可以了。

tight vncviewer 连接服务器，然后再终端中输入vncconfig, 这样就可以和主机共享剪切板了。

vncconfig -nowin &

我喜欢用打开一个终端，然后vncconfig保持窗口打开状态。

黑屏解决办法

首先要确保~/.vnc 目录下面会有pid 和log 文件，

如果没有这2个文件就删除/tmp下面相应的文件，

重新开启vncserver服务

排错的话，一定要注意
一定要注意查看log 文件，log 文件中会告诉你出现了什么问题。
如果没有告诉你问题，只需要等待就可以了。

Fri Feb 19 10:10:37 2021
VNCSConnST: Server default pixel format depth 24 (32bpp) little-endian rgb888

黑屏原因之一
大概就是文件目录权限的问题，导致无法写入文件。
~/.config 文件夹
~/.cache 文件夹

ll .cache -d

[‎2019/‎10/‎9 9:38] Chen Zhaoqiang0101:
chown qiuli .config -R
chgrp qiuli .config -R
[‎2019/‎10/‎9 9:39] Chen Zhaoqiang0101:
chown qiuli:qiuli .config -R

黑屏

如果log文件没有报错信息，鼠标双击黑屏试试看

保持黑屏30分钟以上，然后双击黑屏，
如果还没有反应，先尝试重启 vncserver,
如果还没有反应，则需要重启系统。

service vncserver restart

sudo /bin/systemctl restart vncserver.service

vncserver -geometry 1920x1080 :65

[xxx@hostname .vnc]$ ps -aux |grep vnc|grep username

ps -aux |grep vnc|grep username
cd .vnc
rm * -fr

(imsettings-check:25069): GLib-GIO-CRITICAL **: g_dbus_proxy_call_sync_internal: assertion ‘G_IS_DBUS_PROXY (proxy)’ failed
gnome-session-is-accelerated: llvmpipe detected.

vncserver -geometry 1920x1080 :65
vncserver -kill :65
vncserver -geometry 1920x1080 :65

which python 必须是系统内置的python .

由于 连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

配置
/etc/sysconfig/vncservers

netstat -an |grep 5801

netstat -an |grep 5965

telnet 10.111.9.147 5965

重启系统后，成功解决黑屏问题

黑屏万能方法总结

1. kill 所有的端口服务
2. 删除 ./vnc 文件夹下面所有的文件
3. 保证 python 为系统自带的python
4. 启动端口服务
5. 打开vnc客服端 进行连接
6. 重启系统，重复上述步骤

CAN’T FIND FILE PID 解决办法

###
在使用VNC之后想要关闭自己的VNC端口，结果遇到了如下图的问题：
这里写图片描述
解决办法：

1. 在终端上执行命令ps aux | grep xxx（xxx是你在服务器上的账户，本例中就是chenxiayu）
2. 找到列出的所有进程中，一个叫Xvnc的进程，大概是这个样子的：
   这里写图片描述
3. 看它的进程号是多少，这里是28592
4. 然后用 kill （进程号） 把进程杀掉即可。
   注意，如果你找不到Xvnc这个进程，那应该是本来就不存在，不需要kill，应该可以直接重开vnc端口。

补充：出现这个问题的原因可能是VNC的服务端崩溃，导致~/.vnc目录下的pid文件丢失，然而在/tmp目录下的Xlock文件依然存在，导致系统以为仍有一个vncserver在你的端口上运行。用以下命令可以看看/tmp目录下的相关临时文件。
这里写图片描述
因此另一个办法就是删除相应端口的临时文件（这里以端口21为例），然后就可以重开vnc端口了：

rm -rf /tmp/.X11-unix/X21

有时候只需要上面这句就搞定了（我应该没记错的），但是最近发现还需要再把.X21-lock文件删掉才行：

rm -rf /tmp/.X21-lock

cd ./vnc
把原来的配置文件都删除掉
然后开始链接

参考

1. https://www.iteye.com/blog/cxh61207-1050210
2. https://jingyan.baidu.com/article/86112f1396100227379787a3.html
3. http://lazybios.com/2013/01/vnc-in-fedora-14/
4. http://xstarcd.github.io/wiki/Linux/vnc-server.html
5. https://www.cnblogs.com/kevingrace/p/5821450.html
6. https://blog.csdn.net/lifuxin1125/article/details/7744027
7. https://blog.csdn.net/sunshine_drizzle/article/details/50933748

摘要

web的运作方式：

1. 用户点击链接（路由），向后台发起请求（视图函数），
2. 后台执行视图函数，返回视图。

模板基于参数生成实际的视图。
模板好比是一个类，视图是实际的对象。

模板的应用场景

模板继承的使用场景是，你写好了一个骨架模板后，
可以在子模板引用父模板，并替换或修改父模板的某些部分。

举个例子，我们定义一个显示图书信息的父模板，命名为 base.html：

另外可以先填充测试数据。

模板引擎

在django中自带的是DTL( Django template language)模板引擎，和jinja2类似。
指定和切换模板引擎在settings.py中设置TEMPLATES中的 ‘BACKEND’。

Django2 和 Django3 稍微有点不一样

1
2
3
4
5
6
7
8
9
10
11
12
13

TEMPLATES = [

{

'BACKEND': 'django.template.backends.django.DjangoTemplates',

'DIRS': [],

'APP_DIRS': True,

'OPTIONS': {

},},]

除了可以使用 django 自带的模板系统，还有jinja2系统。
Django是一个强大且全面的大型Web框架，我建议一切都使用django自带的系统，兼容性非常好。

视图函数中的render函数传递一个字典给模板

1
2

render(request, template_name, context=None, content_type=None, status=None, using=None)
render(request, template_name, context=None)

context 字典中元素的键值 “hello” 对应了模板中的变量 ““。

request: 是一个固定参数

template_name: templates中定义的模板文件名，注意路径名。比如：”templates/polls/index.html”, 则参数这样写：”polls/index.html”

context: 要传入文件中用于渲染呈现的数据, 默认是字典格式

content_type: 生成的文档要使用的MIME 类型。默认为DEFAULT_CONTENT_TYPE 设置的值。

status: http的响应代码,默认是200.

using: 用于加载模板使用的模板引擎的名称。默认采用django内置的模板引擎。

context 可以是实名字典也可以是匿名字典。
模板中的变量是字典的key

视图中的字典 只能用点号访问key,不能用中括号访问

1
2

- {{ a.k1  }}
- {{ a['k1']}}  这个就不对

访问列表中的元素 也只能用点号

1
2

- {{a.0}}
- {{a[0]}} 这个就不对

上下文变量查找 仅仅支持点号查找

遍历 Django 模板中复杂数据结构的关键是点号（ . ）。点号可以访问字典的键、属性、方法或对象的索引。假如我们把一个 Python 字典传给模板。若想通过键访问那个字典中的值，要使用点号。

注意，方法调用中没有括号。此外，不能给方法传递变量（只能调用无需参数的方法）。不允许使用负数索引。

模板系统遇到变量名中的点号时会按照下述顺序尝试查找：

1
2
3
4
5
6
7

字典查找（如 foo["bar"] ）

属性查找（如 foo.bar ）

方法调用（如 foo.bar() ）

列表索引查找（如 foo[2] ）

模板系统将使用第一个可用的类型，这是一种短路逻辑。点号查找可以嵌套多层。

一般来说，如果变量不存在，模板系统在变量处插入引擎的 string_if_invalid 配置选项。这个选项的默认值为一个空字符串。

模板中支持的过滤器函数

django模板中默认已经支持了大量常用的函数，
另外也可以自定义拓展更多的函数，建议使用内置的函数，不要自行拓展。
或者使用第三方的模板函数库。自行拓展维护成本有点高，兼容性可能会差。
可以在视图函数中对数据进行清洗，避开在模板中使用复杂函数。

django[]模板过滤器函数汇总，通过过滤器的形式支持简单函数

1
2

- length 计算列表的元素的个数 {{arr|length}}
- stringformat  控制浮点数位数 {{ float_value|stringformat:".2f" }}

load加载导入第三方模板标签或者过滤器

1
2

{% tag %}  使用% 里面的称为标签
{{ var|filter}}  管道后面的称为过滤器

1

{% load packagename %}  加载自定义标签或者过滤器，第三方标签或者过滤器

自定义模板标签或者过滤器

1

你能通过 Python 代码自定义 tags 和 filters 扩展集成模板引擎，通过 {% load %} 标签使其可用。

示例：

include 和 extends 的区别

在正常的做网站时，我们都需要编写很多的html代码，但你会发现，你会重复很多代码，
而每次，这写代码基本上都是复制，然后粘贴，现在有两种解决方法：

1.使用include标记来引入重复的文件的部分 不变
2.使用Django中的模板的继承（extends）特性，可变（block块可以自定义）

extends 查找的位置

所以让我们使用 Django 的模板系统，只要创建一个视图，就可以将页面的设计从代码中分离出来。

情况1：通常写页面都有个模板用来框定头部LOGO页面，左侧导航菜单，只有右部的内容不同。如果不使用模板就大量重复工作。

特别如果头部或者左侧导航需要修改或者添加，所有页面都需要修改。django 通过模板继承解决。

情况2：一个页面如果内容特别多，不可能都一起写同一个页面。比如京东首页内容非常多。如何解决了？django通过include导入其他页面。

extends 的顺序

继承模板和 载入模板的顺序 一致。

1
2

TEMPLATE_LOADERS = ['django.template.loaders.filesystem.Loader',
 'django.template.loaders.app_directories.Loader']

• filesystem.loader 和 template_dir 配合使用

‘django.template.loaders.filesystem.Loader’依赖于’DIRS’的设置，如果’DIRS’是一个空列表的话，他将找不到任何模板

‘django.template.loaders.app_directories.Loader’会自动去app下面的template目录下寻找模板，所以采用这种方法就无需给’DIRS’赋值

如果两个都开启的话
Django会先依据TEMPLATE_LOADERS中最先列出的模板载入方式来查找并载入模板，方式同上，若找不到模板文件则使用列出的第二种方式查找，依次类推，直至找到或找不到。这样的话，Django要么找不到模板，要么会载入最先找到的模板，若在多个不同路径下存在同名的模板文件，最终载入的模板与列出的载入方式的顺序和列出的包含模板的目录的顺序嘻嘻相关。这往往是不明确的，极易造成混淆。

注意事项

%和中括号要紧密靠在一起

管道和前后两个变量也要紧密靠在一起

1

{{  var|filter }}

模板中的url 函数

对于url在template中的映射

对于1中的例子用：

1

{% url ’path.to.some_view’ v1 v2 %}

对于2 中的例子用：

1

{% url ’path.to.some_view’ arg1=v1 arg2=v2 %}

1

{% url 'retro_interactive_mcts' %}

url 第二个参数是 视图函数的同名字符串 需要加引号
除了会帮忙生成正确的url 以后 还会检查是否正确配置了该名字的视图路由

路由url.py

1

url(r'^reactionDB/reaction/rxnid=(?P<rxnid>.+)$', views.reactionbyrxnid, name='reaction_byrxnid'),

视图

1

<a href="{% url 'reaction_byrxnid' 1 %}" class="btn btn-default">Browse</a>

参考

1. https://docs.djangoproject.com/zh-hans/3.0/topics/templates/
2. https://www.cnblogs.com/lixiang1013/p/7784523.html
3. https://michaelyou.github.io/2015/04/15/django%E8%BD%BD%E5%85%A5%E6%A8%A1%E6%9D%BF%E7%9A%84%E9%A1%BA%E5%BA%8F/ good
4. https://blog.csdn.net/zyz511919766/article/details/18355827
5. https://blog.csdn.net/wangeen/article/details/40828793

场景

在调试的过程中在脚本中引入了过多的print,如何快速禁用print 函数。

方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

import sys, os

# Disable
def blockPrint():
    sys.stdout = open(os.devnull, 'w')

# Restore
def enablePrint():
    sys.stdout = sys.__stdout__


print 'This will print'

blockPrint()
print "This won't"

enablePrint()
print "This will too"

参考

1. https://stackoverflow.com/questions/8391411/suppress-calls-to-print-python

设置文件不可删除

1

sudo chattr -V +a  ads.txt

1
2
3
4
5
6
7
8
9
10
11
12
13
14

“+文件属性” 就是添加该属性

“-文件属性”去掉此属性

“=文件属性” 此文件有且只有这属性
2）文件属性

a 文件是否只能添加，修改，而不能删除

c 文件夹是否能添加压缩文件

s 安全删除

u 不可删除

查看用户的UID GID信息

id username

每一个用户只有唯一的uid,可以有多个gid,主gid是第一个，
副gid可以有很多。

1

uid=1052(zqchen) gid=1052(zqchen) groups=1052(zqchen),10(wheel),1011(vglusers),10002(SharedUsers)

在 Linux 中，一个用户是可以属于多个组的，一个组也是可以包含多个用户的

查看系统中有多少用户和用户组

1

compgen -u  查看用户信息

1

compgen -g   查看用户组信息

创建用户和同名用户组

结果基本是类似的，因为每个用户在被创建的时候都会自动创建一个同名的组作为其默认的用户组。
adduser zqchen
useradd -g test phpq //新建phpq用户，并设置用户主组的名字为test 不建议这么使用

adduser phpq ## 新建用户,并设置用户组 phpq

给已有用户加组

修改非主group

usermod -G groupname username 修改非主group，剩下主group和新修改的group

追加新的group

usermod -aG groupname username 为用户添加新的group

删除用户

userdel –r 用户名 删除用户 -r 选项会自动删除用户家目录 推荐
userdel peter 删除用户

groupdel peter 删除用户的同名组别

usermod –G peter peter （强制删除该用户的主目录和主目录下的所有文件和子目录）删除用户的目录

查看当前用户属于哪些组group

groups zqchen
或者
id zqchen

查看用户组下有多少个用户

members SharedUsers ubuntu中的命令
getent group SharedUsers centos中的命令

主工作组 普通工作组

主工作组 有 gid 编号的主工作用

id username

修改用户组的gid编号

在修改之前先查看有没有被使用

cat /etc/passwd | grep 30003
usermod -u 3003 postgres

usermod: user xxx is currently used by process xxxx

彻底退出这个用户，用户直接进入root 或者从其他用户切换到root

groupmod -g 3003 postgres

添加新的用户组

sudo groupadd docker

设置用户密码为空，情况用户密码

passwd -d zqchen

文件的类型

在linux中一切都是文件，文件夹也可以看成是文件。
ll xxx
文件的权限一共占据10位。

1
2

[xxx@CADD4 ~]$ ll /etc -d
drwxr-xr-x. 164 root root 12288 Dec 25 13:27 /etc

第一位是文件的类型。然后依次文件的所有者权限，文件所在组的权限，其他用户的权限。
rwx 对于文件而言是可读可写可执行权限。
rxw 对于文件夹而言是可读可写可访问进入权限

查看文件的权限

ll file

查看文件夹的权限

ll dir -d

给普通用户添加sudo 权限

方法一 修改sudoers 文件：
sudoers 文件属于root组的root用户，只有uers 和 group 只有可读的权限。

1

-r--r-----. 1 root root 4252 Sep  4 11:17 /etc/sudoers

)切换到root用户，添加可写权限，编辑vim /etc/sudoers 添加以下内容：

1
2
3

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
username  ALL=(ALL)       ALL

1
2
3
4
5
6

cd /etc
su  # 切换到 root账号
chmod +w sudoers  ## 等价于 chmod u+w sudoers 给文件的用户添加可写权限
vi sudoers  # 添加用户拥有 sudo 权限，然后保存
chmod -w sudoers # 恢复文件的可读权限，**如果不恢复权限，可能会报错**
exit # 退出sudo账号

如果不恢复权限，可能会报错

方法二(推荐) 把用户添加到wheel(sudo)组：

sudoers 中定义了哪个组的用户有sudo 权限。在centos中是wheel组，而unbuntu 中是sudo组。

1
2

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL

1
2
3
4

su
usermod -aG wheel zqchen
exit  
exit #退出账号，重新连接才能生效。

第二种方法需要退出账号，重新连接才能生效。

实践 共享文件

共享用户文件给其他用户

为什么所有的用户都能看到 home 目录

给目录加x 就可以访问目录了
因为home目录具有o+x的权限

在当前用户的 ~ 目录下新建一个文件夹

该文件夹的权限是drwxrwxr-x 用户 group o 都可以看得到。

自己的账号目录 默认是只有自己可以看到的

ll /home/*/ -rtlhd
如果要想让其他人能访问你的文件，至少要让你的主目录（主文件夹）添加一个g+x权限或者o+x 权限

用户组应用场景

上述信息可以清楚地看到，关于如何使用非root用户对docker进行管理，由于Docker的守护进程会绑定Unix Socket而不是使用TCP端口方式，而缺省情况下Unix socket为root用户所有，其他用户只能通过sudo来进行访问，所以Docker的守护进程只能以root用户进行启动。

如果不希望在docker命令前面添加sudo进行执行，这时可以创建一个名为docker的Unix Group并向这个Group中添加用户，当Docker守护进程启动的时候，守护进程会创建一个Unix Socket文件，而docker这个group的成员对于该文件具有访问权限。

nfs部署的注意事项

我在部署nfs的时候，共享了一个文件夹。为了让远程nfs客户端挂载这个文件夹的时候都有可读写权限，我需要把服务器上的用户uid、gid设置成nfs服务端文件夹一样的权限。不过因为之前新建的用户uid、gid都是系统自动生成的，几台服务器之前某个用户的uid、gid可能都不一样，所以现在需要把这个uid、gid都设置成统一某个值。

修改用户uid和组gid的命令分别是usermod和groupmod，思路很简单。先使用usermod修改用户的uid，然后使用groupmod修改组的gid，最后使用chown和chgrp命令修改原来用户文件和目录的属主属组。

例如测试用户foo和测试组foo。

把 CADD2 上的用户的UID 修改为 3003 和CADD0 一致

[root@L01CADD00 user]# id postgres
uid=3003(postgres) gid=3003(postgres) groups=3003(postgres)
同一个用户和NFS 上的用户 同一个uid 和gid 就有相同的权限了

可执行文件

普通用户 which 不能探测到sbin下面的可执行文件。

在Linux中，绝大多数可执行文件都保存在/bin、/sbin、/usr/bin、/usr/sbin

/bin（binary）是二进制可执行目录，主要是具体应用

/sbin（system binary）是系统管理员专用的二进制代码存放目录，主要用于系统管理

/usr/bin（user command for application）后期安装的一些软件

/usr/sbin（superuser command for application）超级用户的一些管理程序

参考

1. https://www.cnblogs.com/wyl9527/p/6495444.html
2. https://www.jianshu.com/p/f6d9a27f5cfc
3. https://blog.csdn.net/liumiaocn/article/details/88651955
4. https://askubuntu.com/questions/515103/how-can-i-display-all-users-and-groups-with-a-command
5. https://askubuntu.com/questions/477551/how-can-i-use-docker-without-sudo
6. https://blog.51cto.com/12127893/1861688
7. https://blog.csdn.net/yzf0011/article/details/60474036

需求场景

为多个pdf文件自动添加水印。

实战代码

准备文件，创建一页带有水印的pdf文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

# !/usr/bin/python
# Adding a watermark to a single-page PDF

import PyPDF2
from glob import glob 


input_file = "example.pdf"
output_file = "example-drafted.pdf"
watermark_file = "draft.pdf"


def addwatermark(inputf,watermark,outf=""):
    '''
    '''
    print("convert the file %s to watermaped file"%inputf)
    pdf_writer = PyPDF2.PdfFileWriter()

    if not outf:
        outf=inputf.replace(".pdf","_mark.pdf")
    
    fh_in = open(input_file, "rb") 
    pdf = PyPDF2.PdfFileReader(fh_in)

    fh_wm = open(watermark_file, "rb") 
    watermark = PyPDF2.PdfFileReader(fh_wm)
    first_page_watermark = watermark.getPage(0)





    for i in range(pdf.getNumPages()):
        page=pdf.getPage(i)
        page.mergePage(first_page_watermark)
        pdf_writer.addPage(page)


        
    with open(outf, "wb") as filehandle_output:
        # write the watermarked file to the new file
        pdf_writer.write(filehandle_output)
    print("finished")



if __name__ == '__main__':
    input_file = "example.pdf"
    output_file = "example-drafted.pdf"
    watermark_file = "draft.pdfi.watermap"
    #addwatermark(input_file ,watermark_file,output_file)

    pdffiles = glob("*.pdf")
    watermark_file = "draft.pdf.watermap"
    for input_file in pdffiles:
        addwatermark(input_file ,watermark_file)

摘要

yum 是centos中centos中最好用的包下载工具。

yum的中国镜像

1. 清华镜像: https://mirrors.tuna.tsinghua.edu.cn/help/centos/

2. 网易镜像
   https://mirrors.163.com/.help/centos.html

建议 网易 和 清华镜像交换使用， 有时候清华镜像抽风，有时网易镜像抽风。
使用方法也很简单，到官网下载相应的Centos-Base.repo文件。
然后替换系统中文件即可，/etc/yum.repos.d/
最后清楚系统中原来的缓存，并生成新的缓存。

1
2

yum clean all
yum makecache

1

替换前，建议备份该文件

CentOS7-Base-163.repo 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#
[base]
name=CentOS-$releasever - Base - 163.com
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os
baseurl=http://mirrors.163.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.163.com/centos/RPM-GPG-KEY-CentOS-7

#released updates
[updates]
name=CentOS-$releasever - Updates - 163.com
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates
baseurl=http://mirrors.163.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.163.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - 163.com
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras
baseurl=http://mirrors.163.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.163.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - 163.com
baseurl=http://mirrors.163.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.163.com/centos/RPM-GPG-KEY-CentOS-7

配置文件 baseurl 和 mirrorllist的区别

首先从beseurl中寻找相应的软件，找不到后再尝试从mirrorlist寻找资源。
在镜像文件中，通常会指定baseurl为镜像的url并注释掉mirrorlist，加快下载速度。
可根据自己的需要决定是否注释掉mirrorlist。

问题汇总1

方法二

yum安装NodeJS在访问镜像列表时出现404，升级yum更新epel之后则出现这个错误： “Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again”

通过Google得知：原因

yum-epel升级到0.5.2版本，更换了https链接，所以原来的镜像列表就过时了，砸地。

解决方法是，运行：yum –disablerepo=epel -y update ca-certificates

记住一定要加上–disablerepo=epel，否则怎么都更新不了

使用代理

可以在/etc/yum.conf或者bashrc中配置代理，
yum.conf中的优先级更高，仅仅针对yum 命令有效
建议bashrc中添加代理，全局有效，方便管理。

修复epel仓库

删除epel

1

yum remove epel-release

安装epel

1

yum install epel-release

参考

1. http://www.devkang.com/yum-errno-12-timeout-on

阅读对象

1. 没有使用过anaconda的读者
2. 没有使用过anaconda创建项目环境的读者
3. 没有使用过anaconda镜像的读者
4. 对channel的配置不熟悉的读者

简介

anaconda是最好用python解释器，里面默认包含了大量的科学计算包，以及最厉害的包管理工具conda。
在我最喜欢的软件列表，希望通过本文安利更多的伙伴。

anaconda 的安装

直接到官网上根据自己的系统下载相应的程序就可以了。
推荐下载使用anaconda3，anconda3中内置的python3版本。
推荐使用python3,python3 比python2 更快，bug更少。

默认base环境

看前面是否有base,如果没有通过下述命令激活base环境

1

conda init bash

anaconda创建项目环境

不同的项目依赖同一个模块的不同版本，如果不对环境进行隔离，
开发过程中就发生模块冲突的问题。

开始一个新项目，第一步就是建立相应的项目环境，并根据需要安装相应的模块。

1
2

conda create --name py37MolDocking python=3.7
conda create --name py37deepchembook python=3.7 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main   速度飞快

项目环境的名称是 py37MolDocking,里面的python 版本是 py37MolDocking
默认是安装3.7.x中的最新版本。

1

conda create --name py37Fep python=3.5

默认是安装3.5.x中的最新版本。

建议： 虚拟环境命名和创建原则，一个项目一个虚拟环境，以python版本号+项目进行命名，方便记忆。

查看当前系统上所有的项目环境

1

conda info -e

激活项目环境

1

conda activate ProjectEnvName

或者

1

source activate ProjectEnvName

或者

1

activate  ProjectEnvName

检查环境是否正常激活

1

which python

退出项目环境

1

conda deactivate

conda 安装模块

不同的模块可能在不同的channel中。
建议通过google 搜索 “conda 模块的名字” 查看相应的安装命令。

1

conda install rdkit -c rdkit

卸载模块

1

conda uninstall rdkit -c rdkit

使用国内的镜像安装

conda 修改项目环境的名字

如果你觉得项目环境名字起得不是很好，想进行修改。
可通过下面的方法进行间接修改

1
2

conda create --name new_name --clone old_name
conda remove --name old_name --all

目前不支持直接修改项目环境的名字，只能先复制项目环境然后删除旧的环境。

删除环境

1

conda remove --name py35customNM --all

查看某个指定项目环境下的安装包

1

conda list -n py35project

安装模块到指定的项目环境中

方法一：

1

conda install -n py35 numpy

方法二： 激活相应的项目环境，然后安装需要的模块（推荐）

1
2

conda activate py35
conda install xxx -c xxxchanel

使用国内镜像

推荐清华或者北师大镜像
建议使用的时候指定镜像，不建议直接配置。

1
2
3
4
5

conda install rdkit -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/rdkit/

conda install -c anaconda pymongo=3.7.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda install -c anaconda keras=2.2.4 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge

更多关于中国镜像的文章，

分享自己的项目环境

首先切换到base环境中，

1

conda-env export -n py27proj -f=py27proj.yml

会产生项目的配置文件py27proj.yml,分享该文件给对方后。
对方通过该文件就可以建立和你相同的环境。

1

conda-env create -n py27proj -f=py27proj.yml

查看conda的环境

conda config –show

配置conda的代理网络

建议直接在bashrc中配置，condarc中的优先级高于bashrc的优先级。

在condarc 中添加正确的地址，注意没有https

1
2
3
4
5
6
7
8

channels:
  - defaults
show_channel_urls: true

use_pip: true
proxy_servers:
  http:  http://1x.1x.1x.8x:nnn
  https: http://1x.1x.1x.8x:nnnn

未完待续

参考

1. https://zhuanlan.zhihu.com/p/44398592
2. https://stackoverflow.com/questions/45864595/how-to-transfer-anaconda-env-installed-on-one-machine-to-another-both-with-ubu

1
2
3
4
5

Residues = ["Ala","Ile","Leu","Met","Val","Phe","Trp","Tyr","Asn","Cys","Gln","Ser","Thr","Asp","Glu","Arg","His","Lys","Gly","Pro"]

RESIDUES=['ALA', 'ILE', 'LEU', 'MET', 'VAL', 'PHE', 'TRP', 'TYR', 'ASN', 'CYS', 'GLN', 'SER', 'THR', 'ASP', 'GLU', 'ARG', 'HIS', 'LYS', 'GLY', 'PRO']

Residues_ALL=['ALA', 'ILE', 'LEU', 'MET', 'VAL', 'PHE', 'TRP', 'TYR', 'ASN', 'CYS', 'GLN', 'SER', 'THR', 'ASP', 'GLU', 'ARG', 'HIS', 'LYS', 'GLY', 'PRO',"Ala","Ile","Leu","Met","Val","Phe","Trp","Tyr","Asn","Cys","Gln","Ser","Thr","Asp","Glu","Arg","His","Lys","Gly","Pro"]

参考

1. https://www.sigmaaldrich.com/china-mainland/life-science/metabolomics/learning-center/amino-acid-reference-chart.html

场景

tempfile模块是python的内置模块无需安装。可以帮你创建随机、不重名的文件和文件夹。

注意事项

1. 默认参数下，不要去找临时文件或临时文件夹，因为程序退出时该临时文件和临时文件夹都会被删除。
   默认创建的文件和文件夹是看不到的，仅仅存在脚本运行期间，而且运行期间也是不可见得，因为他没有使用文件系统表。
2. 如何你的应用程序需要一个临时文件来存储数据，但不需要同其他程序共享，那么用TemporaryFile函数创建临时文件是最好的选择。其他的应用程序是无法找到或打开这个文件的，因为它并没有引用文件系统表。用这个函数创建的临时文件，关闭后会自动删除。

创建自动删除的临时文件

1
2
3
4
5
6

import tempfile

f = tempfile.NamedTemporaryFile(mode='w+b')
f.write("hello,world. weixin: pythonperl")
print(f.name)
f.close()

你在/tmp目录是找不到该文件的。

delete=False 创建不删除的临时文件，可以找到的临时文件

1
2
3
4
5
6

import tempfile

f = tempfile.NamedTemporaryFile(mode='w+b', delete=False)
f.write("hello,world. weixin: pythonperl")
print f.name
f.close()

你在/tmp目录下是可以找到该文件的

创建不被删除的临时目录

1
2
3

import tempfile
dirname = tempfile.mkdtemp()
print(dirname)

其他一些方法 ‘gettempdir’, ‘gettempprefix’, ‘mkdtemp’, ‘mkstemp’, ‘mktemp’, ‘tempdir’, ‘template’

1
2

import tempfile
print(tempfile.__all__)

输出：

1

['NamedTemporaryFile', 'TemporaryFile', 'SpooledTemporaryFile', 'mkstemp', 'mkdtemp', 'mktemp', 'TMP_MAX', 'gettempprefix', 'tempdir', 'gettempdir']

查看文件的默认位置，

获取系统的临时目录的位置

1
2
3

import tempfile
dirname = tempfile.gettempdir()
print(dirname)

参考

1. https://docs.python.org/3/library/tempfile.html
2. https://python3-cookbook.readthedocs.io/zh_CN/latest/c05/p19_make_temporary_files_and_directories.html

有点像surface_type,2
https://pymolwiki.org/index.php/File:Pocket.png
可能需要做两张图 然后合在一起。
http://hex.loria.fr/gallery/
https://pymol.org/dokuwiki/doku.php?id=setting:surface

撤销和恢复

• u是撤销你刚才做的动作

• ctrl+r 是恢复你刚才撤销的动作、

• dd 剪切本行

• shift+d 或者d$ 删除光标到行末

• x 删除光标所在字符

• 保存修改并且退出 vim： “ZZ”或者”:wq”

• 按列选择并插入

1. 首先ctrl+v进入列选择->
2. 按大写I进入插入模式->
3. 输入要插入的字符->
4. 按Esc键退出
5. 刚刚选中的列前面都插入相同的字符

sudo –preserve-env=HOME /usr/bin/env

Finally you can also set environment variables directly in the sudo command, like this:

sudo ZEBRA=true /usr/bin/env

sudo LD_LIBRARY_PATH=/opt/intel/mkl/lib/ia32:$LD_LIBRARY_PATH LD_PRELOAD=/opt/intel/mkl/lib/ia32/libmkl_core.so python -c “import numpy”

参考

1. https://www.petefreitag.com/item/877.cfm
2. https://askubuntu.com/questions/57915/environment-variables-when-run-with-sudo

• anconda

• centos

• jupyter

• pymol

• python

• perl

• rdkit

• vscode

• mobaxterm 替代商业版 xmanager

介绍

好过开源软件的仓库都在国外，直接从国外仓库下载速度比较慢，如果再有Q的存在，下载就是个灾难。

我个人喜欢临时启用国内镜像，不喜欢永久配置国内镜像。当官方仓库下载很慢的时候再主动启用镜像，一切尽在掌握之中。

pypi

python -m pip install web.py -i http://pypi.douban.com/simple –trusted-host pypi.douban.com

python -m pip install web.py -i http://pypi.douban.com/simple –trusted-host pypi.douban.com

1

python -m pip install tqdm  -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

conda 镜像使用示例

conda install rdkit -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/rdkit/

conda install -c anaconda pymongo=3.7.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda install -c anaconda keras=2.2.4 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge

conda 镜像列表

1. tuna: https://mirrors.tuna.tsinghua.edu.cn

2. bfsu: https://mirrors.bfsu.edu.cn/ （推荐）

建议尝试不同的镜像，有时候tuna速度更快，有时候bfsu速度更快。

yum 镜像

1. 清华镜像: https://mirrors.tuna.tsinghua.edu.cn/help/centos/

2. 网易镜像
   https://mirrors.163.com/.help/centos.html

建议 网易 和 清华镜像交换使用， 有时候清华镜像抽风，有时网易镜像抽风。
使用方法也很简单，到官网下载相应的Centos-Base.repo文件。
然后替换系统中文件即可，/etc/yum.repos.d/
最后清楚系统中原来的缓存，并生成新的缓存。

1
2

yum clean all
yum makecache

1

替换前，建议备份该文件

摘要

关系数据库的核心就是关系，表和表之间有关系。
如果只有一张表，那就不需要建立关系。

一对多的关系

首先分别建立这两张表，
然后建立这两张表的关系，

外键总是在多的一侧定义，方便节省空间。
ForeignKey

集合在一的一侧定义。
relationship

建立关系以后，就能从A表找B表的内容，也能从B表找到A表的内容。

Plan是什么

Plan 是一个python 模块可以帮助我们写和部署cron 任务。借助于plan 可以把python代码转化成cron语法
或者直接修改生成cronfile文件。

plan的优点

1. 语法对人更加友好。

安装plan

python -m pip install plan

快速体验plan

1
2
3
4
5
6
7
8

from plan import Plan
cron = Plan()
cron.command('date', every='weekend')

if __name__ == '__main__':
    cron.run()
```           
输出crotab的语法

Begin Plan generated jobs for: main

0 0 6,0 date

End Plan generated jobs for: main

[message] Your crontab file was not updated.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

此时并没有更新crontab 文件，默认run执行的是check模式不会更新cronfile,只会输出crontab的语法。



## 最佳实践
$ mkdir planschedule
$ cd planschedule
$ plan-quickstart
会生成一个命名为schdule.py的模板文件。


## command
```py
cron.command('top', every='4.hour', output=
             dict(stdout='/tmp/top_stdout.log',
                  stderr='/tmp/top_stderr.log'))

script

1
2

cron.script('script.py', every='1.day', path='/web/yourproject/scripts',
            environment={'YOURAPP_ENV': 'production'})

command 和script的区别

command 一般用于linux自带的命令，
而script 用于执行一些脚本，如python perl shell等脚本，会根据脚本文件的后缀名找到对应的解释器。
path 用于定义脚本所在的位置，environment 可以用于定义环境变量，比如指定python的虚拟环境等。

拆分成不同类的任务进行命名

1
2

$ cp schedule.py schedule_commands.py
$ cp schedule.py schedule_scripts.py

1
2
3
4
5
6
7
8
9
10
11
12

from plan import Plan

cron = Plan("commands")

cron.command('top', every='4.hour', output=
             dict(stdout='/tmp/top_stdout.log',
                  stderr='/tmp/top_stderr.log'))
cron.command('yourcommand', every='sunday', at='hour.12 minute.0 minute.30')
# more commands here

if __name__ == "__main__":
    cron.run()

1
2
3
4
5
6
7
8
9
10
11

from plan import Plan

cron = Plan("scripts", path='/web/yourproject/scripts',
            environment={'YOURAPP_ENV': 'production'})

cron.script('script.py', every='1.day')
cron.script('script_2.py', every='1.month', at='hour.12 minute.0')
# more scripts here

if __name__ == "__main__":
    cron.run()

Plan的第一个参数是类别的名字，方便进行控制，比如像删除每一个类别的任务。

Job

Job 中可以包含的参数有 ：

1. task 需要执行的命令
2. every 执行命令的频率
3. at 具体时间
4. path 命令的工作路径
5. environment 工作环境
6. output 命令输出到哪里

1
2
3
4
5

from plan import Job

job = Job('ruby script.rb', every='1.month', at='day.5',
          path='/web/scripts', output='null',
          environment={'RAILS_ENV': 'production'})

Every

Every参数用于定义任务运行的频率:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[1-60].minute
[1-24].hour
[1-31].day
[1-12].month
jan feb mar apr may jun jul aug sep oct nov dec
and all of those full month names(case insensitive)
sunday, monday, tuesday, wednesday, thursday, friday, saturday
weekday, weekend (case insensitive)
[1].year

"yearly"    # Run once a year at midnight on the morning of January 1
"monthly"   # Run once a month at midnight on the morning of the first day
            # of the month
"weekly"    # Run once a week at midnight on Sunday morning
"daily"     # Run once a day at midnight
"hourly"    # Run once an hour at the beginning of the hour
"reboot"    # Run at startup

以及支持原生的crontab语法

1
2

from plan import Job
job = Job('demo', every='1,2 5,6 * * 3,4')

at 语法

定义任务具体运行时间

1
2
3
4
5
6

minute.[0-59]
hour.[0-23]
hour:minute
day.[1-31]
sunday, monday, tuesday, wednesday, thursday, friday, saturday
weekday, weekend (case insensitive)

示例代码：

1
2
3
4

job = Job('onejob', every='1.day', at='12:00')
job = Job('onejob', every='1.day', at='hour.12 minute.15 minute.45')
# or even better
job = Job('onejob', every='1.day', at='12:15 12:45')

PATH

定义运行这个任务需要的工作路径。默认path 是当前脚本的路径。
对于command类型的job, 不依赖于PATH，因此即使定义path 也会被忽略。
For job types that do not need one path, this will be ignored, for example, CommandJob.

output

对任务的输出进行指定位置。
示例代码：

1
2
3
4

job = Job('job', every='1.day', output='null')
job = Job('job', every='1.day', output='> /tmp/stdout.log 2> /tmp/stderr.log')
job = Job('job', every='1.day', output=
          dict(stdout='/tmp/stdout.log', stderr='/tmp/stderr.log'))

plan

Plan 对象可以接受的参数有 name, path, environment, output and user。
其中Path, environment 和 output 和Job 中的参数是一样的。
只要在plan中设置了这些参数，在plan中的JOB会自动继承这些参数。

其中environment 可以通过上面dict的形式定义，也可以通过env函数进行定义。

1
2
3
4

cron = Plan()
cron.env('MAILTO', 'user@example.com')
cron.command('command', every='1.day')
cron.run('check')

bootstrap用法

1
2
3
4
5
6

from plan import Plan
cron = Plan()
cron.bootstrap('pip install requests')
cron.bootstrap(['pip install Sphinx', 'sphinx-quickstart'])
cron.script('crawl.py', every='1.day', path='/tmp')
cron.run('check')

bootstrap接受一个命令或者命令列表，bootstrap 和script的区别是仅仅执行一次，不需要定义执行频率。

类别

一个Plan 对象管理一个类别的JOBS。不同的plan对象需要起不同的名字。 根据名字可以对同一类JOBS进行管理。
不同Plan可以方便控制。
在cronfile 中会根据Plan的名字创建相应的block。
示例代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from plan import Plan

cron1 = Plan( name="shellscript")
cron1.command('pwd',every='1.day')
cron2 = Plan( name="pythonscript")
cron2.script('1.py',every='1.day')
# register one command, script or module
# cron.command('command', every='1.day')
# cron.script('script.py', path='/web/yourproject/scripts', every='1.month')
# cron.module('calendar', every='feburary', at='day.3')

if __name__ == "__main__":
    cron1.run()
    cron2.run()

示例输出

1
2
3
4
5
6
7
8
9
10

# Begin Plan generated jobs for: shellscript
0 0 * * * pwd
# End Plan generated jobs for: shellscript

[message] Your crontab file was not updated.
# Begin Plan generated jobs for: pythonscript
0 0 * * * cd /home/czq/planschedule && /home/czq/anaconda2/bin/python 1.py
# End Plan generated jobs for: pythonscript

[message] Your crontab file was not updated.

JOB的类型

plan 内置了4中job的类型： 1. Command Job；2. Script Job; 3. Module Job; 4.Raw Job

raw job的示例代码

1
2
3
4
5
6

cron = Plan()
cron.raw('cd /tmp && ruby script.rb > /dev/null 2>&1', every='1.day')

# In this particular case, you should try Job
job = Job('ruby script.rb', every='1.day', path='/tmp', output='null')
cron.job(job)

自定义JOB类型

plan-quickstart

脚手架工具,帮你产生脚本模板
plan-quickstart –path filepath
plan-quickstart –help

所有的job至少接受两个参数，一个command,一个every

run types

1
2

cron = Plan()
cron.run('check') # could be 'check', 'write', 'update', 'clear'

支持4种不同的run类型，’check’, ‘write’, ‘update’, ‘clear’

• check cron.run(‘check’) 比较安全，但是不会更新你的crontab文件，会把python code转化成cron语法，
  然后你手动更新crontab文件，crontab -e 默认
• write 该模式会把你的crontab文件清空，然后写入新的crontab命令到cronfile中。
• Update 该模式会在cronfile中根据plan对象中task进行更新或者追加新的任务 推荐
• Clear 该模式会找到plan对象中定义的task,并把它从cronfile文件中删除。

示例代码

from plan import Plancron = Plan()cron.command('sh /home/czq/pymolcn/sub_bd.sh', every='1.day', at='0:05')cron.command('date', every='weekend')if __name__ == '__main__':    cron.run()

参考

1. https://plan.readthedocs.io/installation.html#installation
2. https://github.com/fengsp/plan

个人试用过的软件，按字母顺序排序

1. anaconda3 带python的工具 +++++

2. autodock 分子对接

3. autodockVINA +++++

4. cmake3

5. gaussian

6. gcc 版本切换scl devtoolset

7. gromacs

8. openmpi

9. pdb2pqr

10. PyMOL

11. Rosettta

12. schrodinger

场景

作业是独立的，且每个作业都比较耗时，但是数量非常多。这时候使用多核进行计算作业能显著提高效率。
有点类似大家一起干。如果是普通的单核处理的话，就类似于 一人干活，其他人休息，当然慢。

单核处理任务

比如 60次特殊的加法，每个加法之前先休息1s,增加这个任务的时间，
你可以根据自己的需求定义任务函数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from random import random
import time
def task():
    time.sleep(1)
    a = random()
    b = random()
    return a+b
start = time.time()
#           range(100000000)
for i in range(60):
    task()
end = time.time()
span= end-start
print("it take %s seconds"%span)

输出：

1

it take 60.1150267124176 seconds

多核处理

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from multiprocessing import Pool
from random import random
import time
def task(x):
    a = random()
    b = random()
    return a+b
start = time.time()
pool = Pool()                         # Create a multiprocessing Pool
data_inputs = range(10**9)
pool.map(task, data_inputs)  # process data_inputs iterable with pool
end = time.time()
span= end-start
print("it take %s seconds"%span)

输出：

1

it take 2.5520200729370117 seconds

同样的任务，在48核电脑上只需要2.5秒就能完成。

我们可以看到使用多核处理能显著地加快耗时任务的快速完成。

如果任务耗时很短，则使用多核效果不明显。

比例比如执行一次普通加法，大约耗时7us，时间非常快，而你分配给核的时间可能和任务的时间差不多，这时候采用多核效果就不好。

示例1： 单核普通加法

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from random import random
import time
def task():
#     time.sleep(1)
    a = random()
    b = random()
    return a+b
start = time.time()
#           range(100000000)
for i in range(10**7):
    task()
end = time.time()
span= end-start
print("it take %s seconds"%span)

输出：

1

it take 2.497889518737793 seconds

示例2： 多核普通加法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

from multiprocessing import Pool
from random import random
import time
def task(x):
#     time.sleep(1)
    a = random()
    b = random()
    return a+b
start = time.time()
pool = Pool()                         # Create a multiprocessing Pool
data_inputs = range(10**7)
pool.map(task, data_inputs)  # process data_inputs iterable with pool
end = time.time()
span= end-start
print("it take %s seconds"%span)

输出：

1

it take 3.088542938232422 seconds

我们可以看到同样的任务，多核的完成需要的时间反而比单核多。
对于时间非常短的任务，不适合多核做。

这和实现生活中的情形也比较相似，对于大的项目，领导统筹协调各方资源能够加快项目的完成。
对于小的项目，交给一个人负责就可以了。

如果task 中需要接受多个参数可通过[[],[]]数据结构进行封装示例

task(1,2) task(1,3) task(2,10)等作业

示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from multiprocessing import Pool
from random import random
import time
def task(x):
    time.sleep(1)
    a = x[0]
    b = x[1]
    return a+b
start = time.time()
pool = Pool()                         # Create a multiprocessing Pool
a = range(100)
b = range(100)

data_inputs =zip(a,b)
pool.map(task, data_inputs)  # process data_inputs iterable with pool
end = time.time()
span= end-start
print("it take %s seconds"%span)

输出：

1

it take 3.7886974811553955 seconds

其他事项

• process参数来指定使用的核的数目，默认是电脑最大核的数目，Pool(processes = 3)

考虑顺序排列组合permutations

1
2
3
4
5
6
7
8

high_imps_list_all = [['3157',
  '3175',
  '16',
  '34',
  '3159']]

import itertools
list(itertools.permutations(high_imps_list_all[0],5))

不考虑顺序 combinations

1
2
3
4
5
6
7
8

high_imps_list_all = [['3157',
  '3175',
  '16',
  '34',
  '3159']]

import itertools
list(itertools.combinations(high_imps_list_all[0],5))

注意事项

返回的是元组的列表

介绍

如何让pickle 兼容python2 和python3

当python版本为python 3的时候 保存为protocal=2 就可以兼容python2 了。

1
2
3

f = open('TemInfo_py3_pro2_dict.pkl', 'wb')
pickle.dump(templates, f ,protocol=2)
f.close()

pickle 保存的数据类型

尽量不要包含自己定义的类，否则兼容性很麻烦同时python2 保存速度最慢。

因为pickle的创建最初目的就是保存数据。如果类中的仅仅包含数据，可以把类转换成字典。
或者仅仅需要类中的数据，可以类转换成字典的格式。

这样就可以避免各种奇怪的错误，
AttributeError: ‘module’ object has no attribute ‘Class Name’

如果坚持保存为定义的class的话，可以参看这篇文章
和 这篇文章

python

存储97万条字典数据，含多个字典索引的时候 python3 明显快于Python2。
同一台电脑上测试同一个脚本
时间计算：
PYTHON3 it take 36.402302503585815 seconds
PYTHON2 it take 4+ hour

-i 交互

方便测试里面的变量和方法

-u 没有缓冲缓存 直接输出

##

同步打乱两个numpy array的顺序

1
2
3
4

state = np.random.get_state()
np.random.shuffle(X)
np.random.set_state(state)
np.random.shuffle(Y)

我建议每个epoch 结束后打乱顺序，防止过拟合。

自动换行 alt+z

vscode 跳转F12到函数之后怎么跳转回之前的位置

alt+上下左右箭头

##

1. vscode -fileheader

这个插件可以为你在文件开头插件头信息，比如文件的作者，修改时间，有了这个插件你就不需要每次都码一次所谓的无用信息了。

这个插件的用法也好简单：快捷键为：ctrl+alt+i，的依次点开【开始】-【首选项】-【设置】，在用户配置文件中添加如下代码：

2.HTML Snippets 或者 emmet 插件，可以提高编写效率。如果没有生效的话，可能是和已有插件冲突，禁用或者删除相应的插件即可。

3. vscode-tidyhtml

安装后按F1就可以美化html。

4. 中文语言包

ctrl+shift+p 然后输入 configure display language,然后安装或者选择中文包zh-cn.

5. rst 插件
   https://github.com/vscode-restructuredtext/vscode-restructuredtext/blob/master/docs/sphinx.md

查找插件

ext:rst方式查找安装一个插件。

主题设置

点击左下角的齿轮-》color theme-> 选择自己感兴趣的颜色主题即可。

• 建议 工作使用黑色主题。
• 复制 代码的时候切换到白色主题。

比较两个文件的异同

在文件区 按住ctrl 选中两个待比较的文件，然后右击->compare就可以比较两个文件。

载入csv 文件load

数据通常保存为csv文件。

示例代码：

1
2
3

import pandas as pd
import numpy as np
train_df = pd.read_csv('../input/train.csv')

修改列的名字rename

示例

• atom->atom_0
• x->x_0
• y->y_0
• z->z_0

示例代码

1

newtrain_df.rename(columns={'atom':'atom_0', 'x':'x_0', 'y':'y_0', 'z':'z_0'}, inplace = True)

调整列的顺序

代码

1

df = df[['user_id','book_id','rating','mark_date']]

去除重复记录drop_duplicates

1

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

• subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列
• keep : {‘first’, ‘last’, False}, default ‘first’ 删除重复项并保留第一次出现的项
• inplace : boolean, default False 是直接在原来数据上修改还是复制一个副本在副本上修改

对旧列计算添加新的列

单列计算

1
2
3

def newfunc(x):
    return x**2
df['newcol']=df['oldcol'].map(newfunc)

多列计算

示例

1

df['test']=df.apply(lambda x: x['x_0']+x['x_1'],axis=1)

删除行和列

1
2
3

print frame.drop(['a'])  # 删除行 返回新表
print frame.drop(['Ohio'], axis = 1)  # 删除列  返回新表
DF.drop('column_name',axis=1, inplace=True)

drop函数默认删除行，删除列需要加axis = 1

第一个参数：删除那几行，行名或者列名的列表
第二个参数：axis=0 默认行； axis=1 列

删除列的第二个方法，保留需要的列

1
2

newtrain_df=newtrain_df[['id','molecule_name','atom_index_0','atom_elem_0','x_0','y_0','z_0','atom_index_1','type','scalar_coupling_constant']]
newtrain_df.head()

横向合并两张表df

如果两张表的记录数目是一样的，id也是完全对应的，直接合并就可以。

1

result = pd.merge(df_train, df_ans, on=['id'])

或者

1

result = df_train.merge( df_ans, on=['id'])

纵向合并多张表

当需要合并的表的字段完全相同的时候，直接用concat 合并即可

1
2
3

frames = [df1, df2, df3]

result = pd.concat(frames)

将df 导出为csv

示例代码

1

result.to_csv("train_x_y.csv")

根据key-value查找具体的记录

我们想查看merge 后的表和前面的表记录是否一致，查看id=’52b6d03a’的记录。

1
2
3

df_train[df_train['id'].isin(['52b6d03a'])]
df_ans[df_ans['id'].isin(['52b6d03a'])]
result[result['id'].isin(['52b6d03a'])]

根据value的数值比较 查找具体的记录

1
2
3

imfs_df[imfs_df['score0'] == 0]
imfs_df[imfs_df['score0'] > 0]
df[(df[col] > 0.5) & (df[col] < 0.7)]

打乱顺序

1

result_random = result.sample(frac=1)

frac 返回数据的比例，

• frac =1 打乱所有的数据并返回。
• frac =0.5 打乱并返回其中一半的数据

统计行数

• len(df)
• df.shape 行列

添加新列

查看原有列的shape df_valx[‘id’].shape
确保新列的shape 和旧列的 shape 相同

1

df_valx['newcolname']=p4_predict.reshape((26358,))

选取多个列的数据

1

df[['col1','col3']]

https://stackoverflow.com/questions/11285613/selecting-multiple-columns-in-a-pandas-dataframe

根据colname 获取子表

1
2
3

colnames=['name1',['name2']]
df[colnames]

接受的参数必须是列表，不能是元组。

查看数据类型

1

df.dtypes

修改数据类型

1

df[[column]] = df[[column]].astype(type)

含3个值的数据数据修改为类别数据

1
2
3
4
5
6
7
8
9

cols = data.columns.tolist()
col2=[]
for col in cols:
    print('col',col,data[col].nunique() )
    if(data[col].nunique()<2):
        col2.append(col)
for c in col2:
    print("c",c)
    data[[c]]=data[[c]].astype('category')

替换所有的NAN

1
2
3
4
5
6
7
8

#可以尝试下 fillna()：

#fill all Nan value with zero
df = df.fillna(0)

#如果不想用df=df.addna()，也可以这么做：

df.fillna(0, inplace=True)

推荐方法一

1
2

data[['p2']]=data[['p2']].fillna(0)
data[['p4']]=data[['p4']].fillna(0)

UPDATING

思路

1. 先定位带负电荷的氨基酸上的羧基上的氧原子；
2. 然后定位正电荷氨基的Lys 上的带正电荷的N原子；
3. 最后显示这两类原子在4A范围之内的配对情况。

方法1 命令行版本

1
2
3

PyMOL>select negative, (resn ASP+Glu and name OD*+OE*)
PyMOL>select positive, (resn Lys and name NZ) or (resn arg and name NE+NH*)
PyMOL>distance saltbridge, (negative ), (positive ), 4.0, 0

方法2 拓展成一个命令 saltbridge.py

1
2
3
4
5
6
7
8

from pymol import cmd
def show_saltbridge():
    cmd.select("negative","resn ASP+Glu and name OD*+OE*")
    cmd.select("positive","(resn Lys and name NZ) or (resn arg and name NE+NH*)")
    cmd.distance("saltbridge","negative","positive")


cmd.extend("show_saltbridge", show_saltbridge)

用法

1
2

PyMOL>run saltbridge.py
PyMOL>show_saltbridge

两个氨基酸之间存在黄色虚线，说明这个氨基酸存在盐桥。

更详细教程参见 PyMOL教程

挑选项目：

1. star多的项目，保证项目的质量
2. 自己擅长的语言写的项目
3. 作者最近有回答问题或者更新项目。

阅读前判断项目适不适合你：

如果你觉得看代码比写代码还难的话，这可能是有2个原因：

1. 你的水平远低于对方的水平，打好基础继续阅读，阅读完了对你的水平会有一个质的提升；
2. 对方代码写的很混乱，没有读的必要，换一个star 更多的类似项目阅读。

大家如果都按照通用的规范来写的话，代码读起来很容易。

阅读之前最好能把该项目部署起来，方便调试验证你的想法。

阅读过程：

几乎没有一个项目是没有bug的，因此在阅读的过程中你可以提交pull request 一方面是反馈问题，另一方面也能看看自己的理解对不对。

即使项目没有bug, 但是一定有需要改进和提高的地方，这时候也可以pull request。

整理阅读记录，做好笔记。

阅读结束

总结这个项目中一些亮点，以后写代码的时候可以进行借鉴。

1. grep

• -F: 匹配特殊的raw 字符串 -F grep -F ‘XXX[SS:NN]‘ file.txt
• -n: 显示匹配的字符串的行号

遇到的场景

好多docker 镜像中没有自带vi命令而自带了cat 命令。
由于我的环境不能连接外网，而又要在docker 容器中创建脚本。
借助 EOF 标签可以把cat 当成 vi来使用。

解决方案示例

1
2
3

[xxx@linux]$ cat <<EOF >hello.py
print("hello,world")
EOF

查看文件hello.py

cat hello.py

display(img) 默认是一行一张图片

示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
13

from rdkit.Chem import Draw
from rdkit import Chem
mol = Chem.MolFromSmiles('c1cccnc1C')
bi = {}
fp = AllChem.GetMorganFingerprintAsBitVect(mol,nBits=256, radius=2, bitInfo=bi)
pprint(bi)
bits =[19,64,81]
imgs=[]
for bit in bits:
    mfp2_svg = Draw.DrawMorganBit(mol, bit, bi)
    imgs.append(mfp2_svg)
#     display(mfp2_svg)
display(*imgs)

输出：

upload successful

借助matplotlb 可以实现多张图片显示在一行上面

示例代码

1
2
3
4
5
6

fig, ax = plt.subplots(1,2)
ax[0].set_axis_off()
ax[0].imshow(imgs[0]);
ax[1].set_axis_off()
ax[1].imshow(imgs[1]);

输出：

upload successful

摘要

编写sphinx文档的时候，通常需要插入一些图片。
通过对jamdocs进行二次开发使得可以在jamdocs中上传本地图片和文件。

jamdocs 二次开发特色

jamdocs 是基于jam.py 开发的，jamdocs开发过程中 全程在浏览器中开发就可以了。
开发在 http://118.89.150.227:54322/builder.html 进行编程；
开发在 http://118.89.150.227:54322 预览管理页面效果。
不需要IDE;

builder.html 添加上传按钮

点击task,然后点击index.html,如图：

通过F12 定位到管理页面的 new 按钮。

id: “new-btn”
一共有 3个地方有new-button

• 1. div [ templates -> default view -> form-footer] {模板}
• 2. div [ topics-view -> modal-body -> modal-footer ] {文件列表窗口}
• 3. div [ parameters-view -> -> “form-footer” ] {project 窗口}

     1 2 3 4

     <div class="modal-footer"> <button id="new-upload-btn" class="btn" type="button"><i class="icon-plus"></i> New<small class="muted">&nbsp;[Ins]</small></button> <button id="new-btn" class="btn" type="button"><i class="icon-plus"></i> New<small class="muted">&nbsp;[Ins]</small></button> </div>

在文件列表窗口添加new-upload-btn
保存下，查看管理页面效果,如图：。

在builder.html 页面中开发为upload 按钮添加 点击 功能

点击 task -> Groups -> Journals，选中topics,然后点击client_module 对应的是topic.js

1
2
3
4
5
6

item.view_form.find("#new-btn").off('click.task').on('click', function() {
    new_doc(item);
});  
item.view_form.find("#new-upload-btn").off('click.task').on('click', function() {
        upload_file(item);
    });

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

function upload_file(item) {
    console.log("click upload button");
    function after_upload(server_file_name) {
            var file_id = item.task.server('move_image_file', [item.item_tree.id.value, server_file_name]);
            console.log(file_id);
    
            if (file_id) {  // refresh 
            item.view_panel = item.view_form.find("#view-panel");
            
            // http://118.89.150.227:12345/api   
            // xhr    refresh 
        item.set_order_by(['file_name']);                
            item.filters.type_gt.value = 1;
            item.filters.parent.value = item.item_tree.id.value;
            item.open();
            item.locate('id', file_id);
            item.task.param_dialog.close_edit_form();
            item.task.server('check_files');  // refresh the div of file list.
            setTimeout(
                function () {
                    item.open();
                },  
                100
            );
   
            
            }
            // refresh  
            
        }
    item.task.upload(
                {
                    accept: 'image/*',
                    callback: function(server_file_name) {
                        after_upload(server_file_name)
                    }
                }
            );

}   

function new_doc(item) {
   item.task.param_dialog.get_params(item, 'New file', ['title', 'file_name'], function(result) {
        var file_id = item.task.server('create_doc', [item.item_tree.id.value, result]);
        
... ...)
}

在服务端实现 move_image_file 功能；

在builder页面点击task ->server module

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import shutil
def move_image_file(task, dir_id,file_name):
    targetdir=task.cur_project.project_path 
    print(targetdir)
    print(file_name)
#     /home/czq/rdkitcn
# zl2020-02-05_223632.678159.jpg
    topics = task.topics.copy()
    topics.set_where(id=dir_id)
    topics.open()
    path = os.path.join(topics.relative_path.value, topics.file_name.value)
    srcpath=os.path.join(os.getcwd(),'static/files',file_name)
    targetpath=os.path.join(targetdir,path,file_name)
    # copyfile(srcpath,targetpath)
    shutil.move(srcpath,targetpath)
    topics.open()

    return topics.id.value


def create_doc(task, dir_id, file_info):
    file_name = file_info['file_name']
    title = file_info['title']
    topics = task.topics.copy()
    topics.set_where(id=dir_id)
    topics.open()
    ... ...

到这里，上传文件的功能就已经实现了。

编程技巧

光标必须定位在代码中，
ctrl+alt+f 在项目中查找，
ctrl+f 在当前编辑的页面中查找 。

摘要

Jamdocs 是全网唯一的管理sphinx文档工具，基于jam.py开发。
sphinx 是优秀的文档写作工具，方便管理文档。
Jamdocs 能够让你在浏览器中编写文档并编译。

项目地址

github: https://github.com/jam-py/jamdocs

安装教程

git clone https://github.com/jam-py/jamdocs.git

运行jamdoc server

cd jamdocs
./server.py 12345
(base) [xxx@centos jamdocs]$ ./server.py 12345

• Running on http://0.0.0.0:12345/ (Press CTRL+C to quit)

• 在浏览器中访问jamdoc 服务 http://118.89.150.227:12345/

  第一次使用会弹出对话框，
  要求填写project的名字：随便写一个名字，方便自己知道是哪一个项目的文档即可
  要求填写project的配置文件conf.py位置(以sphinx文件结尾)。
  如图所示：

可以同时添加并管理多个sphinx project.

看到sphinx 文档的结构，具有如下功能

• 编辑rst文件
• 添加rst文件
• 编译rst文件

这样我们就可以在浏览器中编写文档，不需要登陆服务器。

jamdocs 不足之处

• 不能上传文档

但是jam.py非常灵活，你可以对jamdocs的功能进行自定义就可以实现上传文档的功能。

参考

1. https://github.com/jam-py/jamdocs

摘要

matplotlib面向对象绘图，可以自由定义各种元素。这里讲解绘制双坐标轴。

数据

• 数据内容如下表

以上数据存放在文件data.txt 中。

绘制X2-Y 折线图

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

#!python2


import fire
import os
from glob import glob
#output a finally static picture of network
import networkx as nx
import pylab
from pprint import pprint
import matplotlib.pyplot as plt
import matplotlib
import matplotlib as mpl



#read data
fh=open("data.txt")

text = fh.readlines()[1:]

x1s=map(lambda i: i.split()[0],text)
x2s=map(lambda i: i.split()[1],text)
y1s=map(lambda i: i.split()[2],text)

fig = plt.figure()

ax1 = fig.add_subplot(111)
ax1.plot(x2s,y1s)

plt.show()

添加x1坐标

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

#!python2
import fire
import os
from glob import glob
#output a finally static picture of network
import networkx as nx
import pylab
from pprint import pprint
import matplotlib.pyplot as plt
import matplotlib
import matplotlib as mpl

#read data
fh=open("data.txt")
text = fh.readlines()[1:]

x1s=map(lambda i: i.split()[0],text)
x2s=map(lambda i: i.split()[1],text)
y1s=map(lambda i: i.split()[2],text)

fig = plt.figure()

ax1 = fig.add_subplot(111)
ax1.plot(x2s,y1s)


ax2 = ax1.twiny()  # this is the important function
ax2.set_xlabel('frame order from 1')
ax2.set_xlim(ax1.get_xlim())
print "ax1 lim",ax1.get_xlim()
print "ax1 ticks",ax1.get_xticks()
pprint(x1s)
ax2.set_xticks( ax1.get_xticks())
ax2.set_xticklabels(x1s)

plt.show()


# refer : https://stackoverflow.com/questions/10514315/how-to-add-a-second-x-axis-in-matplotlib

关键函数

• ax.twiny () 共享Y坐标，添加新的x轴
• ax.twinx () 共享X坐标，添加新的Y轴

突破点

• 获得原来坐标的范围赋予新坐标
  ax2.set_xlim(ax1.get_xlim())
• 获得原来坐标的tick位置赋予新坐标
  ax2.set_xticks( ax1.get_xticks())
• 修改新坐标的ticklabel
  ax2.set_xticklabels(x1s)

总结

matplotlib 一切皆有可能。

参考

1. https://stackoverflow.com/questions/10514315/how-to-add-a-second-x-axis-in-matplotlib

摘要

看到朋友圈 “一件有趣的事： 爬了爬自己的微信朋友 ”，看完以后觉得里面缺少了一张中国热图。
您的微信朋友遍布全中国了吗？一张热图告诉你。

主要工具

• 安装itchat
  ‘’’
  python -m pip install itchat
  ‘’’

• Excel模板-中国地图填色图.xls

  1	链接：https://pan.baidu.com/s/1nwjTW2P 密码：zgik

• 中国的省份 pro_list.txt

  1	链接：https://pan.baidu.com/s/1brg0MIz 密码：selo

• 脚本 chinamap.py

  1	链接：https://pan.baidu.com/s/1mjAuym8 密码：wjrs

主要代码

使用不到20行的代码chinamap.py统计您的微信朋友在各个省份的分布。最后输出文件保存在pro_no.txt。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

#!python2
#coding:utf-8
import itchat
from collections import Counter
from  pprint import pprint
itchat.auto_login(hotReload=True)
friends = itchat.get_friends(update=True)[0:]

provinces=[]  # #获取 所有好友的省份信息
for friend in friends:
    provinces.append(friend['Province'])

province_d=Counter(provinces)  ##利用自带的Counter,统计省份出现的次数

pro_list =[ i.strip()  for i in  open("pro_list.txt").readlines()]
fh=open("pro_no.txt",'w')
for pro in pro_list:
    pro = pro.decode('utf8')
    num=  province_d[pro] if pro in province_d.keys() else 0
    fh.write(str(num)+"\n")

运行

1. 把pro_no.txt 和 chinamap.py放到同一个目录下面
2. 命令行中 python chinamap.py ,就可以生成结果文件pro_no.txt

制作热图

1. 打开填色图.xls
2. 把pro_no.txt 中的结果粘贴过来。
3. 确定热图的颜色，可以使用默认的。
4. 修改每个颜色对应的范围a-b
5. 填写范围的底限a
6. 点击按钮开始填色。

效果图

我在贵州、海南、宁夏、青海、西藏还没有朋友了。这里的朋友去哪里了，快到后台留言。

总结

多条朋友多条路。您的朋友遍布天下了吗？ 如需帮助，后台留言帮忙制作您的朋友全国热图分布。

摘要

点、线、面是视觉形态的基本构成元素。上一篇文章中引入了点的动画，这篇文章中我们将介绍线的动画。

效果图

安装ffmpeg

下载链接： https://ffmpeg.zeranoe.com/builds/

核心代码

1
2

line = Line2D([xlist[0]],[ylist[0]])
ax.add_line(line)

完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

#!python2
#coding: utf-8
import sys
import numpy as np
import pylab as plt
from matplotlib.animation import FuncAnimation
from matplotlib.lines import Line2D
from matplotlib import animation
fig, ax = plt.subplots()
fig.set_tight_layout(True)
plt.rcParams['animation.ffmpeg_path'] =u'D:\\Python27_64\\Scripts\\ffmpeg.exe'
FFwriter = animation.FFMpegWriter()
plt.rcParams.update({'font.size':10})

fh=open("pmf.dat")
xlist=[]
ylist=[]
barlist=[]
xydict={}
for line in fh.readlines()[1:]:
    x,y,bar=line.strip().split()
    xydict[x]=y
    x,y,bar=map(float,line.strip().split())
    xlist.append(x)
    ylist.append(y)

    barlist.append(bar)

#http://www.tuicool.com/articles/Z7BzY3V
#plt.legend(loc=2,prop={'size': 9})
plt.xlabel('Z (Angstrom)')
plt.ylabel ('Free Energy (kCal/mol)')
plt.xlim(0,12)
plt.xticks([0,2,4,6,8,10,12])
plt.ylim(0,12)
plt.yticks([0,2,4,6,8,10,12])
# plt.plot(xlist,ylist,linewidth = 2.5, color = 'r')

# how to set line
# Line2D
line = Line2D([xlist[0]],[ylist[0]])

ax.add_line(line)
point_line,=plt.plot(xlist[0],ylist[0],'or',linewidth = 3, color = '#00FF7F')
# point_line2,=plt.plot(xlist[0],ylist[0],'or',linewidth = 3, color = '#00FF7F')
def update(i):
    # pass
    line.set_xdata(xlist[0:i])
    line.set_ydata(ylist[0:i])
    print i
    #plt.plot(xlist[0:i],ylist[0:i],linewidth = 2.5, color = 'r')  
    # point_line2.set_xdata(xlist[0:i])
    # point_line2.set_ydata(ylist[0:i])
    point_line.set_xdata(xlist[i-1])
    point_line.set_ydata(ylist[i-1])
    return point_line
#http://ffmpeg.zeranoe.com/builds/
if __name__=='__main__':
    anim=FuncAnimation(fig,update,frames=np.arange(0,8),interval=200)
    # ffmpeg -i small.mp4 small.gif
    # http://note.rpsh.net/posts/2015/04/21/mac-osx-ffmpeg-mp4-gif-convert/
    #anim.save('linetest1.mp4',writer=FFwriter )
    # anim.save('line.gif',writer=FFwriter )
    plt.show()

数据data pmf.dat

1
2
3
4
5
6
7
8
9

1 7.2725 1
2 7.1284 2
3 7.0523 3
4 6.9731 3
5 6.8909 4
6 6.7982 4
7 6.7207 5
8 6.6218 6
9 6.5092 7

总结

图是由各种元素组成的。制作动画的前提是正确定位到该对象。对象的变化更新就形成了所谓的动画。

摘要

一图胜千言，动画胜百图。python中的matplotlib可以快速绘制gif动画。

准备

安装matplotlib

python -m pip install matplotlib

安装 ffmpeg，为了保存gif图片

https://www.ffmpeg.org/download.html#build-windows

在win中如果保存gif出错，可以先保存为mp4,然后利用ffmpeg命令转化为gif动画。

H:\file> ffmpeg.exe -i .\line.mp4 line.gif

DEMO

• 小球滚动动画

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

#!python2
#coding: utf-8
import sys
import numpy as np
import pylab as plt
from matplotlib.animation import FuncAnimation
from matplotlib import animation
fig, ax = plt.subplots()
fig.set_tight_layout(True)
plt.rcParams['animation.ffmpeg_path'] =u'D:\\Python27\\Scripts\\ffmpeg.exe'
FFwriter = animation.FFMpegWriter()

fh=open("pmf.dat")
xlist=[]
ylist=[]
barlist=[]
xydict={}
for line in fh.readlines()[1:]:
    x,y,bar=line.strip().split()
    xydict[x]=y
    x,y,bar=map(float,line.strip().split())
    xlist.append(x)
    ylist.append(y)

    barlist.append(bar)

#http://www.tuicool.com/articles/Z7BzY3V



plt.plot(xlist,ylist)
#polygoncollection
point_line,=plt.plot(xlist[0],ylist[0],'or')
def update(i):
    pass
    point_line.set_xdata(xlist[i])
    point_line.set_ydata(ylist[i])
    return point_line
#http://ffmpeg.zeranoe.com/builds/
if __name__=='__main__':
    anim=FuncAnimation(fig,update,frames=np.arange(0,99),interval=200)
    # ffmpeg -i small.mp4 small.gif
    # http://note.rpsh.net/posts/2015/04/21/mac-osx-ffmpeg-mp4-gif-convert/
    anim.save('line.mp4',writer=FFwriter )
    anim.save('line.gif',writer=FFwriter )
    # plt.show()

核心思想

matplotlib中的一切元素都是对象，设置动画的关键就是选择合适的对象。

• 首先创建一张静态图，动画的第一帧
• 在第一帧上面包含一个对象，通过设置该对象的属性可以实现动画

参考

1. http://www.tuicool.com/articles/Z7BzY3V
2. http://ffmpeg.zeranoe.com/builds/
3. http://note.rpsh.net/posts/2015/04/21/mac-osx-ffmpeg-mp4-gif-convert/

素材文件 pmf.txt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101

x            y           bar
20.411952.74         0
20.784651.37592      0.7196
21.157360.76087      0.74207
21.530070.3116       0.72869
21.902770.05602      0.73386
22.275480.05348      0.75097
22.648190.08492      0.74599
23.020890.0985       0.71082
23.39360.06613          0.70322
23.76630.14481          0.69655
24.139010.3257       0.72263
24.511720.27692      0.72225
24.884420.25218      0.72751
25.257130.36809      0.74037
25.629840.55323      0.75481
26.002540.72995      0.74839
26.375250.94172      0.74698
26.747961.13001      0.73844
27.120661.2329       0.72841
27.493371.25246      0.72547
27.866081.22187      0.70788
28.238781.19993      0.70379
28.611491.06911      0.69691
28.984190.90244      0.68734
29.35690.89425          0.69907
29.729610.91524      0.71852
30.102310.75044      0.696
30.475020.58894      0.69201
30.847730.45604      0.67034
31.220430.42346      0.65023
31.593140.4405       0.65072
31.965850.33601      0.63975
32.338550.20371      0.62343
32.711260.17893      0.62964
33.083960.05549      0.61188
33.45667-0.00328     0.60007
33.829380.12251      0.61449
34.202080.25589      0.62247
34.574790.42555      0.65859
34.9475    0.61604      0.64286
35.3202    0.614        0.64946
35.692910.57622      0.66402
36.065620.58349      0.65839
36.438320.58438      0.63197
36.811030.65653      0.65727
37.183730.83727      0.70999
37.556441.08881      0.72572
37.929151.60682      0.8742
38.301852.10805      0.84269
38.674562.42247      0.83927
39.047272.75899      0.81526
39.419973.09685      0.79483
39.792683.3616       0.78948
40.165393.61108      0.79816
40.538093.87369      0.7951
40.9108    4.0805       0.77054
41.283514.216        0.76996
41.656214.3389       0.77383
42.028924.44717      0.76177
42.401624.71326      0.74032
42.774335.11622      0.72166
43.147045.39028      0.71028
43.519745.48795      0.73882
43.892455.64299      0.7484
44.265165.76421      0.75824
44.637865.85875      0.75837
45.010576.02089      0.76564
45.383286.19278      0.75816
45.755986.26079      0.76254
46.128696.25071      0.75838
46.501396.23831      0.75017
46.8741    6.20682      0.75129
47.246816.24886      0.77286
47.619516.3017       0.76859
47.992226.43433      0.76982
48.364936.56277      0.77959
48.737636.59075      0.79015
49.110346.58024      0.7903
49.483056.56504      0.7857
49.855756.57508      0.77676
50.228466.61263      0.78518
50.601166.55328      0.77659
50.973876.52119      0.77264
51.346586.54181      0.77423
51.719286.53653      0.77963
52.091996.49281      0.78699
52.4647    6.44565      0.79181
52.8374    6.41955      0.79063
53.210116.40472      0.79415
53.582826.36367      0.8039
53.955526.36215      0.79789
54.328236.37414      0.80248
54.700946.36651      0.79711
55.073646.39756      0.7919
55.446356.4867       0.78849
55.819056.51402      0.79147
56.191766.48499      0.79197
56.564476.41461      0.79307
56.937176.26777      0.78993
57.309886.65838      0.72711

摘要

python 的流行，得益于其强大的模块库。借助pip,可快速安装大量优秀的模块。

必备条件

• win系统
• python2请使用2.7版本，python3 可以使用任一版本。
• 参考 HOW2PY[01]教程 配置好python的环境变量
• pip