非常好用的爬虫语言Go - 成就云开发者社区

我想很多人一开始写爬虫的时候都会选择python+request，其他还有很多其他语言可以选择，比如今天我们要讲的Go语言，接下来让我们来感受一下如何使用 Go 写爬虫。

首先介绍下框架，golly是 Gopher 们的非常快速且优雅的爬虫框架，提供了一个干净的界面来编写任何种类的爬虫。可以轻松地从网站中提取结构化数据，这些数据可用于各种应用程序，例如数据挖掘，数据处理或归档。他有很多的优点，比如简洁的 API、快速（单核可以达到每秒 1k 个请求）、管理请求延迟和每个域名的最大并发、自动 cookie 和会话处理、同步/异步/并行抓取等。

接下来就是使用go进行爬虫实际，这里我选择的是爬取豆瓣，为什么很多人都喜欢用豆瓣作实践对象呢？因为它实在是太适合做爬虫入门练习了。几乎没有任何反爬限制，最简单的反爬限制就是IP的访问，这个是反爬措施里面最简单的，只需要添加上优质爬虫代理IP的就能解决，代理IP网上有很多的代理商提供，像亿牛云的隧道转发质量就很可，数据爬取完整代码示例如下：

代码语言：javascript

复制

 package main
    import (
        &#34;net/url&#34;
        &#34;net/http&#34;
        &#34;bytes&#34;
        &#34;fmt&#34;
        &#34;io/ioutil&#34;
    )

    // 代理服务器(产品官网 www.16yun.cn)
    const ProxyServer = &#34;t.16yun.cn:31111&#34;

    type ProxyAuth struct {
        Username string
        Password string
    }

    func (p ProxyAuth) ProxyClient() http.Client {

        var proxyURL *url.URL
        if p.Username != &#34;&#34;&amp;&amp; p.Password!=&#34;&#34; {
            proxyURL, _ = url.Parse(&#34;http://&#34; + p.Username + &#34;:&#34; + p.Password + &#34;@&#34; + ProxyServer)
        }else{
            proxyURL, _ = url.Parse(&#34;http://&#34; + ProxyServer)
        }
        return http.Client{Transport: &amp;http.Transport{Proxy:http.ProxyURL(proxyURL)}}
    }

    func main()  {


        targetURI := &#34;https://httpbin.org/ip&#34;


        // 初始化 proxy http client
        client := ProxyAuth{&#34;username&#34;,  &#34;password&#34;}.ProxyClient()

        request, _ := http.NewRequest(&#34;GET&#34;, targetURI, bytes.NewBuffer([] byte(``)))

        // 设置Proxy-Tunnel
        // rand.Seed(time.Now().UnixNano())
        // tunnel := rand.Intn(10000)
        // request.Header.Set(&#34;Proxy-Tunnel&#34;, strconv.Itoa(tunnel) )

        response, err := client.Do(request)

        if err != nil {
            panic(&#34;failed to connect: &#34; + err.Error())
        } else {
            bodyByte, err := ioutil.ReadAll(response.Body)
            if err != nil {
                fmt.Println(&#34;读取 Body 时出错&#34;, err)
                return
            }
            response.Body.Close()

            body := string(bodyByte)

            fmt.Println(&#34;Response Status:&#34;, response.Status)
            fmt.Println(&#34;Response Header:&#34;, response.Header)
            fmt.Println(&#34;Response Body:\n&#34;, body)
        }</code></pre></div></div>