运维开发

MySQL主从数据库同步设置

需求背景我自己blog被墙，而我希望国内能正常访问，同时我自己写blog也不要太卡。刚好手头有一台国内闲置VPS。所以决定这么折腾一下：阿里云智能解析，境外访问解析到linode server; 国内访问，解析到腾讯云。我日常写博客自然是写到linode server的数据库，我不可能手动同步俩数据库，所以设置数据库master slave吧下面记录下如何设置master slave 找到数据库配置文件位置找到mysql配置文件my.cnf的位置 # mysql --help|grep 'my.cnf' .... 本文假设配置文件位置：/etc/my.cnf 设置master 修改mysql配置文件/etc/my.cnf 开启master模式，server-id=1 log-bin = mysql-bin # 日志文件名称 server-id = 1 # 主数据库 ID = 1 binlog-do-db = game # 只同步game数据库 # 忽略mysql,performance_schema和information_schema三个库 binlog-ignore-db = mysql binlog-ignore-db = performance_schema binlog-ignore-db = in...

Centos设置系统时区

VPS重置或者更换节点之后，需要调整时区。这个操作本身不难，可我就是记不住啊。手忙脚乱一通google，不如写在这里好了，方便以后自己找。列出所有时区 # timedatectl list-timezones 截取北美时区列表如下 America/Toronto America/Tortola America/Vancouver America/Whitehorse America/Winnipeg America/Yakutat America/Yellowknife 选择多伦多，America/Toronto # timedatectl set-timezone America/Toronto 搞定了

Python使用类似JQuery的css选择器语法来处理html文档

Scrapy作为一个爬虫开发框架提供了内置的Selector组件来处理html文档，然而他的语法实在是有点诡异，大约平日前端开发用惯了JQuery的缘故吧，总想找一款具有类似语法的python组件来帮助处理html文档。技术选型稍微google下（感谢搜索引擎赐予我的力量。。），就找到了两款类似功能的组件： PyQuery: https://pythonhosted.org/pyquery/index.html#full-documentation BeautifulSoup 4 https://www.crummy.com/software/BeautifulSoup/bs4/doc/# 选择哪个呢？首先看一下文档功能吧对于pyuery，截图中可以看出它实现了类似JQuery的css选择器语法，满足要求。同时文档目录还显示，它除了支持css选择器外，还可以操作dom，可以进行ajax操作。先不管细节，至少看上去是满足要求的。 ![pyquery.png][1] 对于BeautifulSoup，很明显他也满足我们的基本要求。支持css选择器。 ![BeautifulSoup4.png][2] 成熟度 PyQuery当前版本1.2.4，而BeautifulSoup已经是第四版本了。BeautifulSoup 4要成熟些。文档 PyQuery也不知道是功...

CentOS无法安装Scrapy解决

CentOS 7上安装Scrapy报错，提示说Twist构建失败，另外找不到python.h头文件目录。 #pip install scrapy gcc -pthread -fno-strict-aliasing -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -I/usr/include/python2.7 -c src/twisted/test/raiser.c -o build/temp.linux-x86_64-2.7/src/twisted/test/raiser.o s...

CentOS 7升级python 3.6

下载python 3.7源代码 cd /home/source wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz 解压缩源代码并编译安装 tar xvf Python-3.6.6.tar.xz cd cd Python-3.6.6 # 非生产环境请使用 #./configure # 生产环境请开启优化 ./configure --enable-optimizations make && make install 更换默认python软连接到python 3.6 mv /usr/bin/python /usr/bin/python2.7.5 ln -s /usr/local/bin/python3.6 /usr/bin/python 调整yum配置文件中用到的python版本 vim /usr/bin/yum 第一行把 #!/usr/bin/python 替换为 #!/usr/bin/python2.7.5 vim /usr/libexec/urlgrabber-ext-down 第一行把 #!/usr/bin/python 替换为 #!/usr/bin/python2.7.5 vim /usr/bin/repoquery 第一行把 #!/usr/bin...

python 3使用supervisor做守护进程

问题 centos 7系统，python 3.6环境下用pip install supervisor会报错, 简单说就是supervisor不支持python 3 [root@li999-188 python-supervisor]# pip3 install supervisor Collecting supervisor Using cached https://files.pythonhosted.org/packages/44/60/698e54b4a4a9b956b2d709b4b7b676119c833d811d53ee2500f1b5e96dc3/supervisor-3.3.4.tar.gz Complete output from command python setup.py egg_info: Supervisor requires Python 2.4 or later but does not work on any version of Python 3. You are using version 3.6.6 (default, Aug 6 2018, 01:04:23) [GCC 4.8.5 20150623 (Red Hat 4.8.5-16)]. Please install using a support...

python实现数据库自动备份

python实现数据库自动备份设计要求执行环境centos 7 x64 每天某一个时刻自动执行备份操作，执行时间可调整数据库备份文件保留在特定目录中，目录路径可设置自动将当前备份版本发送到指定邮件地址，发件邮箱信息和收件邮箱信息可设置对于每一个数据库备份书数据库备份文件保留七天，超过七天则删除部署后，源代码不泄露实现 python如何在centos上实现定时执行使用Linux定时任务功能Cron即可达到目标。在此之前，请确保服务器时区设置和当前所在时区一致。 // 命令行输入 crontab -e // 加入这一行即可实现每天凌晨两点执行数据库备份: 0 2 * * * python /path/source.py crontab命令基本用法 M H D m d 要执行的命令 * M H D 代表：分钟(0-59) 小时(0-23) 天（1-31） * m d 代表：月(1-12) 周（0-6）更多细节参照: https://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/ 执行数据库备份操作运行命令行mysqldump工具即可备份数据库。python自身提供的os包中有system命令可以执行shell命令行。比如： import os os.system(...