运维开发

Centos设置系统时区

VPS重置或者更换节点之后,需要调整时区。 这个操作本身不难,可我就是记不住啊。手忙脚乱一通google,不如写在这里好了,方便以后自己找。 列出所有时区 # timedatectl list-timezones 截取北美时区列表如下 America/Toronto America/Tortola America/Vancouver America/Whitehorse America/Winnipeg America/Yakutat America/Yellowknife 选择多伦多,America/Toronto # timedatectl set-timezone America/Toronto 搞定了

Python使用类似JQuery的css选择器语法来处理html文档

Scrapy作为一个爬虫开发框架提供了内置的Selector组件来处理html文档,然而他的语法实在是有点诡异,大约平日前端开发用惯了JQuery的缘故吧,总想找一款具有类似语法的python组件来帮助处理html文档。 技术选型 稍微google下(感谢搜索引擎赐予我的力量。。),就找到了两款类似功能的组件: PyQuery: https://pythonhosted.org/pyquery/index.html#full-documentation BeautifulSoup 4 https://www.crummy.com/software/BeautifulSoup/bs4/doc/# 选择哪个呢? 首先看一下文档功能吧 对于pyuery,截图中可以看出它实现了类似JQuery的css选择器语法,满足要求。同时文档目录还显示,它除了支持css选择器外,还可以操作dom,可以进行ajax操作。先不管细节,至少看上去是满足要求的。 ![pyquery.png][1] 对于BeautifulSoup,很明显他也满足我们的基本要求。支持css选择器。 ![BeautifulSoup4.png][2] 成熟度 PyQuery当前版本1.2.4,而BeautifulSoup已经是第四版本了。BeautifulSoup 4要成熟些。 文档 PyQuery也不知道是功能...

CentOS无法安装Scrapy解决

CentOS 7上安装Scrapy报错,提示说Twist构建失败,另外找不到python.h头文件目录。 #pip install scrapy gcc -pthread -fno-strict-aliasing -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -I/usr/include/python2.7 -c src/twisted/test/raiser.c -o build/temp.linux-x86_64-2.7/src/twisted/test/raiser.o s...

CentOS 7升级python 3.6

下载python 3.7源代码 cd /home/source wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz 解压缩源代码并编译安装 tar xvf Python-3.6.6.tar.xz cd cd Python-3.6.6 非生产环境请使用 ./configure 生产环境请开启优化 ./configure --enable-optimizations make && make install 3. 更换默认python软连接到python 3.6 mv /usr/bin/python /usr/bin/python2.7.5 ln -s /usr/local/bin/python3.6 /usr/bin/python 4. 调整yum配置文件中用到的python版本 vim /usr/bin/yum 第一行把 !/usr/bin/python 替换为 !/usr/bin/python2.7.5 vim /usr/libexec/urlgrabber-ext-down 第一行把 !/usr/bin/python 替换为 !/usr/bin/python2.7.5 All Done

python 3使用supervisor做守护进程

问题 centos 7系统,python 3.6环境下用pip install supervisor会报错, 简单说就是supervisor不支持python 3 [root@li999-188 python-supervisor]# pip3 install supervisor Collecting supervisor Using cached https://files.pythonhosted.org/packages/44/60/698e54b4a4a9b956b2d709b4b7b676119c833d811d53ee2500f1b5e96dc3/supervisor-3.3.4.tar.gz Complete output from command python setup.py egg_info: Supervisor requires Python 2.4 or later but does not work on any version of Python 3. You are using version 3.6.6 (default, Aug 6 2018, 01:04:23) [GCC 4.8.5 20150623 (Red Hat 4.8.5-16)]. Please install using a support...

python实现数据库自动备份

python实现数据库自动备份 设计要求 执行环境centos 7 x64 每天某一个时刻自动执行备份操作,执行时间可调整 数据库备份文件保留在特定目录中,目录路径可设置 自动将当前备份版本发送到指定邮件地址,发件邮箱信息和收件邮箱信息可设置 对于每一个数据库备份书数据库备份文件保留七天,超过七天则删除 部署后,源代码不泄露 实现 python如何在centos上实现定时执行 使用Linux定时任务功能Cron即可达到目标。在此之前,请确保服务器时区设置和当前所在时区一致。 // 命令行输入 crontab -e // 加入这一行即可实现每天凌晨两点执行数据库备份: 0 2 * * * python /path/source.py crontab命令基本用法 M H D m d 要执行的命令 * M H D 代表: 分钟(0-59) 小时(0-23) 天(1-31) * m d 代表:月(1-12) 周(0-6) 更多细节参照: https://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ 执行数据库备份操作 运行命令行mysqldump工具即可备份数据库。python自身提供的os包中有system命令可以执行shell命令行。 比如: import os os.system(...