Crawl Data Với Node.js: Hướng Dẫn Thực Thi Axios, Cheerio Và Puppeteer Chuẩn Kỹ Thuật 2026

1. Axios + Cheerio: Tối ưu hiệu suất cho trang tĩnh (SSR)

Theo tài liệu Axios Documentation, việc cấu hình timeout và headers là bắt buộc để tránh treo tiến trình. Kết hợp với Cheerio API, bạn có thể bóc tách dữ liệu với tốc độ của luồng I/O thuần túy:

const axios = require('axios');
const cheerio = require('cheerio');

async function scrapeStatic() {
  try {
    const { data } = await axios.get('https://target.com', {
      timeout: 15000,
      headers: { 'User-Agent': 'Mozilla/5.0...' }
    });
    const $ = cheerio.load(data);
    return $('h1').text();
  } catch (error) {
    console.error(`Lỗi fetching: ${error.message}`);
  }
}

2. Puppeteer: Xử lý nội dung động và các thử thách JavaScript

Đối với các ứng dụng SPA (Single Page Application), bạn cần thực thi JavaScript qua trình duyệt Headless. Puppeteer cho phép tương tác sâu vào Chrome DevTools Protocol để xử lý các sự kiện chờ (Waiting) và render nội dung trước khi thu thập.

3. Code mẫu triển khai Proxy Agent cho Axios và Puppeteer

Để tích hợp Proxy vào Axios, bạn cần sử dụng thư viện https-proxy-agent. Đối với Puppeteer, tham số gán ở tầng khởi tạo trình duyệt:

// 1. Axios với Proxy
const HttpsProxyAgent = require('https-proxy-agent');
const agent = new HttpsProxyAgent('http://user:pass@proxy.1ip.vn:port');
const response = await axios.get(url, { httpsAgent: agent });

// 2. Puppeteer với Proxy
const browser = await puppeteer.launch({
  args: ['--proxy-server=http://proxy.1ip.vn:port']
});

4. Quản lý luồng (P-limit) và cơ chế Retry tự động bền bỉ

Vận hành nodejs web scraping quy mô lớn cần kiểm soát số lượng request đồng thời để bảo vệ tài nguyên mạng. Kết hợp p-limit và cơ chế **Exponential Backoff**:

const pLimit = require('p-limit');
const limit = pLimit(5); // Chạy tối đa 5 luồng đồng thời

const tasks = urls.map(url => limit(() => fetchWithRetry(url)));
await Promise.all(tasks);

async function fetchWithRetry(url, retries = 3) {
  // Logic try/catch kèm delay tăng dần (backoff)
}

5. Tích hợp API 1IP.VN vào quy trình Backend

Thay vì tự quản lý danh sách IP, việc tích hợp Proxy API giúp bot của bạn tự động nhận IP mới ở tầng hạ tầng. Điều này giúp giảm thiểu đáng kể rủi ro bị Rate Limiting và tập trung tài nguyên vào việc xử lý logic dữ liệu thay vì quản trị mạng.

Tích hợp API 1IP.VN vào quy trình Backend

6. FAQ - Khắc phục lỗi Connection Timeout và Authentication trong Node.js