高效抓取 JavaScript 网站

使用 javascript 进行网络爬行的可能性

静态网站：axios 和 cheerio
让我们逐步了解如何使用 javascript 抓取静态电子商务网站。在此示例中，我们将使用两个流行的库：用于 http 请求的 axios 和用于解析 html 的 cheerio。

*1。安装依赖项 *
使用 npm 安装 axios 和 cheerio：

npm 安装 axios cheerio

*2。创建脚本 *
创建一个 javascript 文件，例如b. scrapeecommerce.js 并在代码编辑器中打开它。

*3。导入模块*
将 axios 和 cheerio 导入到您的脚本中：

const axios = require('axios');

const cheerio = require('cheerio');

*4。定义目标 url *
选择您要访问的电子商务网站。在此示例中，我们使用假设的 url http://example-ecommerce.com。将其替换为所需的 url：

const url = 'http://example-ecommerce.com';

*5。获取 html 内容 *
使用axios向目标url发送get请求，获取html内容：

axios.get(url)

.then(响应=> {

const html = response.data;

// 现在可以解析 html 内容

})

.catch(错误=> {

console.error('获取页面时出错：', error);

});

*6。解析 html 并提取数据 *
使用 cheerio 解析 html 代码并提取您想要的信息，例如产品名称和价格：

axios.get(url)

.then(响应=> {

const html = response.data;

const $ = cheerio.load(html);

const products = [];  

$('.product').each((index, element) => {  
  const name = $(element).find('.product-name').text().trim();  
  const price = $(element).find('.product-price').text().trim();  
  products.push({ name, price });  
});  

console.log(products);  

})

.catch(错误=> {

console.error('获取页面时出错：', error);

});

*要点*

• axios.get(url)：发送 get 请求并返回承诺。
• .then(response => { … })：如果请求成功，则html内容在response.data中。
• cheerio.load(html)：将 html 内容加载到 cheerio 中，以进行类似 jquery 的 dom 操作。
• $('.product').each((index, element) => { … })：迭代所有 .product 元素。
• $(element).find('.product-name').text().trim()：提取产品名称。
• $(element).find('.product-price').text().trim()：提取产品的价格。
• products.push({ name,price })：将产品信息添加到产品数组中。
• console.log(products)：输出提取的信息。

*完整示例脚本：*
const axios = require('axios');

const cheerio = require('cheerio');

const url = 'http://example-ecommerce.com';

axios.get(url)

.then(响应=> {

const html = response.data;

const $ = cheerio.load(html);

const products = [];  

$('.product').each((index, element) => {  
  const name = $(element).find('.product-name').text().trim();  
  const price = $(element).find('.product-price').text().trim();  
  products.push({ name, price });  
});  

console.log(products);  

})

.catch(错误=> {

console.error('获取页面时出错：', error);

});

*着陆页自定义：*

• 选择器：.product、.product-name 和 .product-price 选择器必须适应目标页面的实际 html 结构。
• 其他数据：有关其他信息（例如产品图片、链接、描述），请检查相应的 html 结构。

使用 javascript 抓取网站的网页抓取工具

如果您最近需要 python、ruby 或其他编程语言进行网页抓取，octoparse 是一个出色的工具，特别是对于支持 javascript 的网站。

举个具体的例子：如果你有一个目标网站，想要开始抓取，你首先应该检查该网站是否被阻止js抓取。不同的网站使用不同的保护方法，您可能需要一些时间和令人沮丧的尝试才能意识到问题，特别是如果抓取没有产生预期的结果。然而，使用网络抓取工具，数据提取过程会顺利进行。

许多网络抓取工具可以让您免去编写爬虫的麻烦。 octoparse 在抓取大量 javascript 页面方面特别高效，可以从 99% 的网页中提取数据，包括使用 ajax 的网页。它还提供验证码解决服务。 octoparse 可免费使用，并提供自动发现功能和 100 多个易于使用的模板，可实现高效的数据提取。新用户还可以享受 14 天的试用期。

以上就是高效抓取 javascript 网站的详细内容，更多请关注代码网其它相关文章！