2016年

SSL for Free

作者: 胡骊
时间: 2016-07-01
分类: Linux,RaspberryPi
评论

某日发现了提供免费SSL证书的网站——www.sslforfree.com，立马手动申请了个证书来玩。部署以后，非常感动，重点是Chrome和FireFox都支持！曾在某知名网站申请过免费证书，总是申请失败。心灰意冷，本来准备买个廉价的付费版，幸好发现这网站！

免费虽好，但有效期只有3个月，而且到期后只能手动更新证书。不过找到提供该免费证书的网站——Let’s Encrypt（https://letsencrypt.org），以及该网站提供的自动更新证书的开源软件certbot（https://certbot.eff.org）。certbot首页就有安装教程，对应不同HTTP服务和操作系统。安装完毕后，执行以下命令，就可以获取证书了

#验证域名并获取SSL证书
sudo certbot certonly --webroot -w /var/www/example -d example.com -d www.example.com

最后，设置个自动更新，就安枕无忧了。

PS.既然有了免费的证书，何不部署个HTTP 2.0？

Getting Start with ESP8266

作者: 胡骊
时间: 2016-06-17
分类: 硬件折腾
评论

简单玩过NodeMCU之后，想获取更多的数据，就是多加几个传感器。但是NodeMCU只有一个ADC接口，于是找到利用Arduino与ESP8266结合的解决方案。Arduino的不同版本的接口数量不同，而手头上的Pro Micro就有4个ADC了，勉强够用。ESP8266就是NodeMCU的核心，相比NodeMCU更少接口，但体积更小，价格更低。于是入手了两个ESP8266来折腾。

First of All，刷固件。

刷固件的官方教程
Loading new firmware onto an ESP8266
http://www.esp8266.com/wiki/doku.php?id=loading_firmware

最新的固件下载
［最新发布］ESP8266 Resources
http://espressif.com/en/products/hardware/esp8266ex/resources

官方入门教程
Getting Started with ESP8266
http://www.esp8266.com/wiki/doku.php?id=getting-started-with-the-esp8266#got_an_esp-nn_board_in_the_mail_now_what

大概就这些了。话说，计划中的植物环境数据收集平台升级版，都拖好久了……

First NodeMCU Project

作者: 胡骊
时间: 2016-05-30
分类: RaspberryPi,硬件折腾
评论

说起物联网，最早接触的是Arduino。可是入手Arduino Mega后，一直没做出什么好玩的东西，以致Mega丢在角落里好几年。近来在部门经理的怂恿下，入手了NodeMCU，做了个检测盆栽的土壤湿度。本来想在Github开个项目，但是这第一版太简单了，就随便记录一下。

NodeMCU的特点，在于自带WiFi（还可以使用AP模式），而且价格便宜。当然，缺点也在WiFi，比较耗电。为了省电，可以设置网卡的硬件参数（wifi.setphymode()），关闭WiFi（wifi.sleeptype()），甚至是整块板进入深度睡眠模式（node.dsleep(), rtctime.dsleep())。其开源、基于Lua的开发简单、尺寸迷你等优点，也是其好玩之处。

这个项目很简单，就是NodeMCU连个土壤湿度检测模块，定时（10分钟）获取一次数据，并上传到服务器。服务器是采用树梅派，用Python3，利用Flask框架，写了个HTTP服务，用于保存提交的数据，并做数据展示。数据都保存在MySQL数据库。

NodeMCU上的init.lua

print("\n")
print("ESP8266 Started")

dsleepTime = 630000000
ssid = "my-wifi"
password = "123456"
serverIp = "192.168.1.1"
serverPort = 8080

wifi.setphymode(wifi.PHYMODE_N)
wifi.setmode(wifi.STATION)
wifi.sta.config(ssid, password)
tmr.alarm(0,1000,1,function() 
    curIp = wifi.sta.getip()
    if curIp ~= nil then
        print("Current IP:"..curIp)
        tmr.stop(0)
        sendData(readValue(0, 5))
    end
end)

--发送数据到服务器    
function sendData(value)
    print("sendData start")
    conn = net.createConnection(net.TCP, false)
    conn:on("receive", function(conn, pl)
        print("Send data with value: "..value)
        print("Result:\n"..pl)
        conn:close()
        conn = nil
        wifi.sta.disconnect()
        
        node.dsleep(dsleepTime)
    end)
    conn:connect(serverPort, serverIp)
    conn:send("GET /gather/?key=123456&value="..value
        .." HTTP/1.1\r\nHost: " + serverIp + "\r\n"
        .."Connection: keep-alive\r\nAccept: */*\r\n\r\n")

    --connect time out
    tmr.alarm(1,5000,1,function()
        print("[error]connet to server time out")
        --conn:close()
        --conn = nil
        --wifi.sta.disconnect()
        tmr.stop(1)
        
        node.dsleep(dsleepTime)
    end)
end

--读取土壤湿度数据
--一次有效的采样，最少取3次数据，去掉最大值和最小值，再计算平均值
function readValue(adcPin, readTimes)
    if readTimes <= 2 then
        readTimes = 3
    end
    
    local curValue = 0
    local maxValue = 0
    local minValue = 0
    local sumValue = 0
    
    for i = 0, readTimes - 1 do
        curValue = adc.read(adcPin)
        sumValue = sumValue + curValue
        if maxValue < curValue then
            maxValue = curValue
        end
        if (minValue == 0) or (minValue > curValue) then
            minValue = curValue
        end
    end
    sumValue = sumValue - maxValue - minValue
    curValue = math.floor(sumValue / (readTimes - 2))

    return curValue
end

服务器上的HTTP服务，文件site.ini

[uwsgi]
socket = 127.0.0.1:8080
processes = 2
threads = 1
plugins = python3
master = true
pythonpath = /opt/work/web_gather
chdir = /opt/work/web_gather
module = site
callable = app
chmod-socket = 777
memory-report = true

服务器上的HTTP服务，文件site.py

#!/bin/python3

from datetime import datetime
from flask import Flask, request, abort, render_template
from flask.ext.sqlalchemy import SQLAlchemy
from sqlalchemy import desc

app = Flask(__name__)
app.config['SECRET_KEY'] = '123456'

app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql://root:123456@127.0.0.1/web_gather'
app.config['SQLALCHEMY_COMMIT_ON_TEARDOWN'] = True

app.config['HUMIDITY_MIN'] = 740

db = SQLAlchemy(app)

class Humidity(db.Model):
    __tablename__ = 'humidity'
    id = db.Column('id', db.Integer, primary_key=True)
    createDate = db.Column('create_date', db.DateTime)
    sourceValue = db.Column('source_value', db.Integer)
    value = db.Column('value', db.Integer)

    def __repr__(self):
        return '<Humidity % r>' % self.id

@app.route('/', methods=['GET', 'POST'])
def index():
    key = request.args.get('key', '')
    
    if key == app.config['SECRET_KEY']:
        sourceValue = request.args.get('value', '0')
        value = (1024 - int(sourceValue)) / 1024 * 100
        curTime = datetime.today()
        humidity = Humidity(createDate=curTime, sourceValue=sourceValue, value=value)
        db.session.add(humidity)
        db.session.commit()
        return 'true'
    
    humidities = Humidity.query.order_by(desc(Humidity.createDate)).limit(500)
    return render_template('humidity.html', humidities=humidities)

if __name__ == '__main__':
    app.run(debug=False, host='127.0.0.1', port=8080)
    #app.debug = False
    #app.run()

MySQL的表定义

CREATE TABLE `humidity` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_date` datetime DEFAULT NULL,
  `source_value` int(11) DEFAULT NULL,
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2554 DEFAULT CHARSET=utf8

Backup the Hard Disk of CentOS

作者: 胡骊
时间: 2016-04-14
分类: Linux
评论

上星期终于搞掂了办公室的CentOS备份。一开始，我们把硬盘A完全复制到硬盘B（用dd命令拷贝整个硬盘），产生了很多误会，也搞出不少问题，差点以为把硬盘A的数据搞丢了。

后来才发现，CentOS挂载硬盘分区时，根据分区的UUID来挂载的。由于两个硬盘的数据完全一致（包括各分区的UUID也一致），所以即使以硬盘A启动电脑，也可能挂载了硬盘B的分区。最后将错就错，按如下步骤解决问题：

1）修改硬盘B中所有分区的UUID
参考以下文章：
linux下硬盘uuid查看及修改设置
 http://blog.csdn.net/rainday0310/article/details/6343038

Ext4的分区可以按照该文章，修改分区UUID：

uuidgen | xargs tune2fs /dev/sdb1 -U

但是swap分区不行，只能格式化一下，让其重新生成UUID：

#操作之前，先取消挂载
swapoff /dev/sdb2
#格式化swap分区
mkswap /dev/sdb2

修改后，可以下命令查看各分区的UUID：

blkid /dev/sdb1

2）修改硬盘B上的相关配置文件
此步骤是为了让硬盘B也能直接启动。就是说硬盘A出了什么故障，直接用硬盘B就可以启动服务器了。
a）修改分区挂载文件/etc/fstab，把对应分区的UUID改为新的。
b）修改grub配置文件/boot/grub/grub.conf，把根目录的分区UUID改为最新的。

3）同步两个硬盘的文件
这里采用rsync命令，把硬盘A的数据自动同步到硬盘B上。
a）把硬盘B的根目录挂载到/media/sdb3
b）创建文件/media/rsync_exclude文件，把要排除的文件夹或文件录进去，一行一个，参考内容如下：

/boot/*
/dev/*
/media/*
/lost+found
/proc/*
/sys/*
/tmp/*
/etc/fstab

c）执行以下命令，立即同步文件（以root用户执行）：

rsync -avzP --delete --exclude-form=/media/rsync_exclude / /media/sdb3 >> /media/rsync.log

参考：
rsync官方man文档
https://download.samba.org/pub/rsync/rsync.html

CentOS 6.5下rsync服务器安装配置，rsync 客户端
 https://segmentfault.com/a/1190000002502991#articleHeader5

4）优化
后面考虑把硬盘B做成USB移动硬盘，这样可以在需要时才接上电源。再考虑接上硬盘B后自动执行同步命令。

Got Kindle3

作者: 胡骊
时间: 2016-03-11
分类: 硬件折腾
评论

终于还是入手了Kindle3，200RMB的二手货，成色很新。由于带键盘，也有比较成熟的软件，所以非常喜欢。记录一下入手后的折腾经历吧。

1）升级最新固件（fireware）
从官网下载最新固件（目前最新是3.4.2）：
Amazon.com Help: Kindle Keyboard Software Updates
http://www.amazon.com/gp/help/customer/display.html/ref=hp_left_v4_sib?ie=UTF8&nodeId=200529700

升级固件时，按照所需版本，一个一个地升。升级到最新版，最大的作用是可以注册美国亚马逊账号。其它的功能，包括阅读PDF（自动切除白边）、漫画等，都很方便。

2）越狱（Jailbreak）
Font, ScreenSaver & USBNetwork Hacks for Kindle 2.x, 3.x & 4.x
http://www.mobileread.com/forums/showthread.php?t=88004

详细操作，上面会详细记录。简单来说，就是下载对应的版本，然后刷进系统。本链接还包括修改默认屏保（ScreenSavers）、修改字体（Fronts）、USB有线网（USBNetwork）、Python等等。

3）快捷键（launchpad）
launchpad -- yet another hotkey manager for Kindle
http://www.mobileread.com/forums/showthread.php?t=97636

一个热键管理程序，可以把shell脚本，包括启动程序的脚本，做成热键，非常好用！

4）命令窗口（Terminal）
One more terminal emulator for kindle
http://www.mobileread.com/forums/showthread.php?t=154500

用launchpad启动，即可进入shell终端，然后就可用编写shell脚本、修改系统文件、ssh远程到其它机器等等。总之就是非常强大。

5）音乐播放器（MPlayer）
MPlayer for Kindle
http://www.mobileread.com/forums/showthread.php?t=119851

一边播放音乐，一边看书，也是不错的。特别要说的是，Kindle3自带的喇叭，音质比预想的好很多。

6）字典（Dictionary）
字典下载
http://kindlefere.com/dict

下载其它字典，并且可以替换系统默认的字典。

7）中文输入法
Kindle 3 原生系统3.4.2拼音输入法完美版安装包
http://terence2008.info/archives/kindle3_pinyin_input_method.html

8）其它
Kindle Hacks Information
http://wiki.mobileread.com/wiki/Kindle_Hacks_Information

这里都有汇总了几乎所有的软件，包括上面提到的。

Getting Start with NodeMCU

作者: 胡骊
时间: 2016-03-10
分类: 硬件折腾
评论

曾经在“闲鱼”（淘宝二手）上看到有人卖NodeMCU的开发板，查了发现这东西很便宜（30RMB以下可以买到），而且自带WiFi，非常适合打开“物联网”的大门。直到前几天，跟经理说起关于怎样控制窗户的开关，才又提起这个，并买了个来玩。

详细介绍
ESP8266使用
 http://suda-morris.github.io/blog/2015/12/06/esp8266/

针脚定义
NodeMCU Pin Map
请输入图片描述

官方文档
NodeMCU的API文档（英文） http://nodemcu.readthedocs.org/en/dev/

入门教程
官方网站（http://www.nodemcu.com/）上没有找到官方的入门教程，但是找这一些比较好的：
1）一个比较全面的教程（针对Windows） http://nodemcu-dev.doit.am/
2）NodeMCU 物联网开发快速上手（适合Linux用户） http://tinylab.org/nodemcu-kickstart/

官方论坛（http://bbs.nodemcu.com/）上也有一个系列的入门教程：
NodeMcu介绍：（一）概述 http://bbs.nodemcu.com/t/nodemcujie-shao-gai-shu/25
NodeMcu介绍：（二）固件烧写 http://bbs.nodemcu.com/t/nodemcu/22
NodeMcu介绍：（三）启动文件init.lua http://bbs.nodemcu.com/t/nodemcu-init-lua/24
NodeMcu介绍：（四）下载*.lua文件 http://bbs.nodemcu.com/t/nodemcu-lua/26

Lua语言介绍
关于NodeMCU上使用的Lua，这里有个不错的教程
 https://moonbingbing.gitbooks.io/openresty-best-practices/content/lua/main.html

数组排列组合问题

作者: 胡骊
时间: 2016-02-09
分类: 编程相关
评论

项目需求，不同用户需要从各自有权限的一个字符串数组中，随机生成不同的组合。详细如下：
1）如果字符串数组长度超过4个，则最多取4个。
2）首先取没有生成过、且不管顺序的组合，如果用完，则从已经生成的组合中，取不同顺序的组合。例如：数组[a,b,c,d]，先取组合[b,c,a,d]。下一次再取，由于没有不同的组合了，只能取不同顺序排列的组合，即：[c,a,b,d]，[c,b,a,d]等等。
3）如果没有可用组合，则从已生成的组合中，随机抽取一个。
4）取可用组合之前，需要检查是否还有可用的组合。如没有，提示用户。

这里有几个问题：
1）需要记录已生成（用过）的组合。
2）如何随机取（生成）不同的组合？
3）检查是否有可用组合时，是否有快速或高效的方法？

逐个问题去解决吧。

1）记录已经使用的组合。肯定要把已经使用的组合记录到数据库，但是要考虑第一次取是无序的组合，即[a,b,c]与[b,a,c]是一样的。于是数据库需要生成一个编码，用于标记该记录。这里采用把所选字符串按顺序排列后，组成一个编码。例如[a,b,c]与[b,a,c]编码都是abc。如果生成的编码过长，可以考虑采用MD5加密，达到压缩的目的。但是每次查询前都要生成MD5，如果数据量不大的话，没必要耗费这些资源。

2）生成随机组合。最简单的就是，先把字符串数组随机排列，然后按数组顺序去生成不同的组合就可以了。具体的生成算法，可以参考：
排列组合生成问题的讨论（二）
http://shmilyaw-hotmail-com.iteye.com/blog/2108293

3）检查是否有可用组合，确实没有什么捷径，只能生成所有组合后才能确定。经过测试，所需时间勉强可以接受。

自从毕业以后，很少有机会写算法相关的程序了。所以，遇到这种工作，还是比较有冲劲去完成。

Auto Rotate Tomcat Logs with Logrotate

作者: 胡骊
时间: 2016-01-12
分类: Linux
1 条评论

由于CentOS 6.6上的Tomcat 6采用了jsvc来启动，导致日志文件不能自动分割。Google找到相关文章，介绍采用系统自带的Logrotate来解决此问题：

How to rotate Tomcat catalina.out
http://www.vineetmanohar.com/2010/03/howto-rotate-tomcat-catalina-out/

Logrotate的相关介绍，还是看看中文的吧：
linux下logrotate 配置和理解
 http://blog.csdn.net/cjwid/article/details/1690101

被遗忘的Logrotate
http://huoding.com/2013/04/21/246

一般来说，按照文章进行配置就完事了。Logrotate已经设置在/etc/cron.daily，每日自动执行。但是发现Logrotate仍不能正常工作。Google查到以下文章，才知道是服务器上启用了SELinux，权限问题没解决好：

I am getting 'logrotate: ALERT exited abnormally with [1]' messages in logs when SELinux is in the Enforcing mode
https://access.redhat.com/solutions/39006

关于CentOS上的SELinux操作，详见官方WiKi：
https://wiki.centos.org/zh/HowTos/SELinux

最后，关于权限问题，解决如下：
1）检查新增的配置文件的权限，是否跟原有的配置文件一致。如不一致，需修正。

ls -Zalh /etc/logrotate.d/

2）把需要切割的日志文件以及日志文件所在的目录，都设置SELinux的var_log_t类型权限（注意tomcat路径需改为实际路径），就解决权限的问题了：

chcon -t var_log_t /usr/local/tomcat/logs
chcon -t var_log_t /usr/local/tomcat/logs/*

注意：遇到Logrotate不能正常工作时（注意，本文的操作系统是CentOS 6.6），可以按照以下步骤排错：
1）Logrotate以Debug模式（只显示执行结果，不进行实际操作）执行一下，测试配置文件是否有误

/usr/sbin/logrotate -dv /etc/logrotate.conf

2）检查日志文件/var/log/messages，看Logrotate执行时是否有报错

cat /var/log/messages | grep logrotate

3）Logrotate每日操作的操作日志，会记录在/var/spool/mail/root，从该文件可以查看更详细的错误。

4）如第3点有权限相关的报错，检查权限记录日志/var/log/audit/audit.log，看有没有Logrotate的权限错误日志。通常会提示哪些日志文件是否存在权限不足导致不能访问。

cat /var/log/audit/audit.log | grep logrotate