C++语言实现网络爬虫详细代码

#include <iostream>
#include <string>
#include <curl/curl.h>
size_t writeCallback(void* contents, size_t size, size_t nmemb, std::string* output) {
    size_t totalSize = size * nmemb;
    output->append((char*)contents, totalSize);
    return totalSize;
}
int main() {
    CURL* curl;
    CURLcode res;
    std::string htmlData;
    // 初始化 libcurl
    curl_global_init(CURL_GLOBAL_DEFAULT);
    // 创建一个 CURL 实例
    curl = curl_easy_init();
    if (curl) {
        // 设置要抓取的网页地址
        curl_easy_setopt(curl, CURLOPT_URL, "https://www.example.com");
        // 设置回调函数，用于处理获取到的响应数据
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &htmlData);
        // 执行 HTTP 请求
        res = curl_easy_perform(curl);
        if (res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        }
    // 输出获取到的网页内容
    std::cout &lt;&lt; htmlData &lt;&lt; std::endl;
    // 清理 CURL 实例
    curl_easy_cleanup(curl);
} else {
    std::cerr &lt;&lt; &#34;curl_easy_init() failed.&#34; &lt;&lt; std::endl;
    return 1;
}
// 清理 libcurl
curl_global_cleanup();
return 0;

}