背景
创新互联长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为荥阳企业提供专业的成都做网站、成都网站设计，荥阳网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。
要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。
一些关键点
代码解析
按功能模块对核心代码进行说明
ip.go
主进程，实现goroutine的调用。
func main() {
//利用go基本库封装的网页抓取函数，后面有说明
ctx := common.HttpGet("http://ips.chacuo.net/")
//正则表达式，有两个分组（两组小括号），分别取城市信息与url，具体分析代码后面有说明
reg := regexp.MustCompile(`正则表达式说明
主进程针对所有省有入口页面，取得每省的入口分配给一个协程去处理，每一个入口是这个样子
goroutine 流程
获取ip地址信息
与主进程类似，注意无信息时处理。
IpSpider.go
//获取页面数据 ctx := common.HttpGet(url) //reg := regexp.MustCompile(`
数据库表结构生成语句
CREATE TABLE `ip_addr_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引，自动增长', `ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段开始', `ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段结束', `province` varchar(32) DEFAULT '' COMMENT '所属省', `ip_comp` varchar(32) DEFAULT '' COMMENT '运营商', PRIMARY KEY (`id`), UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`) ) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';
批量写入数据库
循环处理抓取数据，生成批量写入语句及输入参数，请签到出到afc9ebd版本。
var vs [] interface{} //存储输入参数的接口数组
var vss string //待拼接的输入参数占位符字符串
for _, el := range ip { //处理所有的数据
vs = append(vs, el[1], el[2], province) //每一列包括开始地址、结束地址与省份
vss += "(?,?,?)," //占位符
}
vss = vss[0:len(vss) -1] //去掉最后的逗号
var configs interface{} //从配置文件取数据库信息
fr, err := os.Open("./configs.json") //配置文件内容请参照上篇文章《golang实现MySQL数据库备份》
if err != nil {
ch <- err.Error()
return err
}
decoder := json.NewDecoder(fr)
err = decoder.Decode(&configs)
confs := configs.(map[string]interface{})
dialect := confs["database_dialect"].(string)
dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
dbHost := dbConf["db_host"].(string)
dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
dbUser := dbConf["db_user"].(string)
dbPass := dbConf["db_pass"].(string)
dbName := dbConf["db_name"].(string)
dbCharset := dbConf["db_charset"].(string)
dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
defer dao.Close()
if err != nil {
ch <- err.Error()
return err
}
//批量插入语句拼接
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
stmt, err := dao.Prepare(sqlstr) //预处理带参数的sql语句
rs, err := stmt.Exec(vs...) //带参数执行sql语句
if err != nil { //出错，返回错误信息
ch <- err.Error()
return err
}else { //成功，返回成功信息
affect, _ := rs.RowsAffected()
ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}批量修改数据库
数据库中的ip_comp字段，是代表运营商信息，需要从运营商页面进入进行数据获取，只需改一下入口url重新运行程序就能正确抓取，但这时入库就不是新增了，而是更新，请签出到4729e66版本。
//前提数据库表定义要设定唯一索引，主键或其它定义的unique索引
...
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
//提供更新（唯一索引冲突时）时要对应原字段与值
" ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
stmt, err := dao.Prepare(sqlstr)
rs, err := stmt.Exec(vs...)
if err != nil {
ch <- err.Error()
return err
}else {
affect, _ := rs.RowsAffected()
ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}待改进的方面
把入口url提到配置中，使用策略模式，让匹配规则抽象成策略，目标是不改程序，调整配置文件就可以抓取不同的网页。
项目地址
https://github.com/zhoutk/goTools
使用方法
git clone https://github.com/zhoutk/goTools cd goTools go get go run ip.go go buid ip.go ./ip
小结
熟悉了golang语言，了解了一种全新的并发编程模式，熟悉了具体的数据库操作方法，给自己生成了一个方便的工具。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对创新互联的支持。
