网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Go语言小爬虫--第一步

    解析新浪手机新闻网页,获取5条新的新闻的url存入到数据库

公司主营业务:网站建设、成都网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出江州免费做网站回馈大家。

package linksql

import (

"database/sql"

"log"

_"github.com/go-sql-driver/MySQL"

)

func Open_url_table() *sql.DB{

db,err:=sql.Open("mysql","root:root@/mysql")

Checkerror(err)

return db

}

func Insertlink(id int,src string,url string){

db:=Open_url_table()

stmt,err1:=db.Prepare("insert into url_table(id,src,url) values(?,?,?)")

if err1!=nil{

log.Fatalln("prepare error",err1)

}

_,err2:=stmt.Exec(id,src,url)

if err2!=nil{

log.Fatalln("Exec error")

}

}

func Checkerror(err error){   //差错

if err!=nil{

log.Fatal(err)

}

}

package search_sina

import (

"net/http"

"log"

"gopkg.in/xmlpath.v2"

"test/linksql"

)

func Get_url(url string){ //找新URL

resp,err:=http.Get(url)

Checkerror(err)

root,err1:=xmlpath.ParseHTML(resp.Body)

Checkerror(err1)

path:=xmlpath.MustCompile(`//dl[@class="f_card"]/../@href`)

iter:=path.Iter(root)

i:=1

for iter.Next() && i<6{

//fmt.Println(iter.Node())

linksql.Insertlink(i,"sina",iter.Node().String())

i++

}

}

func Checkerror(err error){

if err!=nil{

log.Fatalln(err)

}

}

+----+------+-------------------------------------------------------------------------------+
| id | src  | url                                                                           |
+----+------+-------------------------------------------------------------------------------+
|  1 | sina | http://tech.sina.cn/tech_zt/meitu_ipo?vt=4&pos=18                             |
|  2 | sina | http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqav9330894.d.html?vt=4&pos=18 |
|  3 | sina | http://zhuanlan.sina.cn/article?vt=4&pos=18&id=57660&ch=tech                  |
|  4 | sina | http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqax6095612.d.html?vt=4&pos=18 |
|  5 | sina | http://tech.sina.cn/i/gj/2016-12-15/detail-ifxytqav9326149.d.html?vt=4&pos=18 |
+----+------+-------------------------------------------------------------------------------+

网站栏目:Go语言小爬虫--第一步
文章链接:http://bjjierui.cn/article/pjpeed.html

其他资讯