Python爬虫获取JavaScript动态渲染后的网页内容四种方法_Javascript

1. 引言

在现代web开发中，许多网站采用javascript动态渲染技术（如react、vue、angular等框架）来加载数据，传统的http请求（如python的**requests**库）只能获取初始html，而无法捕获js执行后的内容。因此，爬取这类动态网页需要模拟浏览器行为，等待javascript执行完成后再提取数据。

本文将介绍几种主流方法，包括：

selenium（自动化浏览器操作）
playwright（新一代浏览器自动化工具）
pyppeteer（python版puppeteer）
requests-html（轻量级html解析库）

并提供详细的代码实现，帮助开发者高效抓取动态渲染的网页内容。

方法1：使用selenium获取动态内容

selenium是一个自动化测试工具，可控制浏览器（如chrome、firefox）加载完整页面。

示例代码

from selenium import webdriver
from selenium.webdriver.chrome.service import service
from selenium.webdriver.chrome.options import options
from selenium.webdriver.common.by import by
import time

# 配置chrome无头模式
chrome_options = options()
chrome_options.add_argument("--headless")  # 无界面运行
chrome_options.add_argument("--disable-gpu")

# 指定chromedriver路径
service = service(executable_path="/path/to/chromedriver")
driver = webdriver.chrome(service=service, options=chrome_options)

# 访问目标网页
url = "https://example.com"
driver.get(url)

# 等待js执行（可替换为显式等待）
time.sleep(3)  # 简单等待，实际建议使用webdriverwait

# 获取渲染后的html
rendered_html = driver.page_source
print(rendered_html)  # 包含js动态加载的内容

# 提取特定元素
element = driver.find_element(by.css_selector, "div.dynamic-content")
print(element.text)

# 关闭浏览器
driver.quit()

优缺点

优点：支持所有主流浏览器，适合复杂交互（如点击、滚动）。
缺点：速度较慢，占用资源多。

方法2：使用playwright（推荐）

playwright是微软推出的新一代浏览器自动化工具，比selenium更快且更稳定。

示例代码

from playwright.sync_api import sync_playwright

# 代理配置
proxyhost = "www.16yun.cn"
proxyport = "5445"
proxyuser = "16qmsoml"
proxypass = "280651"

with sync_playwright() as p:
    # 启动chromium浏览器并配置代理
    browser = p.chromium.launch(
        headless=true,  # 无头模式
        proxy={
            "server": f"http://{proxyhost}:{proxyport}",
            "username": proxyuser,
            "password": proxypass,
        }
    )
    
    # 创建新页面
    page = browser.new_page()
    
    try:
        # 访问网页并等待加载
        page.goto("https://example.com", timeout=10000)  # 增加超时设置
        page.wait_for_selector("div.dynamic-content")  # 等待目标元素出现
        
        # 获取渲染后的html
        rendered_html = page.content()
        print(rendered_html)
        
        # 提取数据
        element = page.query_selector("div.dynamic-content")
        if element:
            print(element.inner_text())
        else:
            print("目标元素未找到")
            
    except exception as e:
        print(f"发生错误: {e}")
        
    finally:
        # 确保浏览器关闭
        browser.close()

优缺点

优点：速度快，支持多浏览器（chromium、firefox、webkit），api更现代化。
缺点：较新，社区资源略少于selenium。

方法3：使用pyppeteer（python版puppeteer）

pyppeteer是基于chrome devtools protocol的python库，适合高效抓取动态内容。

示例代码

import asyncio
from pyppeteer import launch

async def fetch_rendered_html():
    # 启动浏览器
    browser = await launch(headless=true)
    page = await browser.newpage()
    
    # 访问网页
    await page.goto("https://example.com")
    await page.waitforselector("div.dynamic-content")  # 等待元素加载
    
    # 获取html
    rendered_html = await page.content()
    print(rendered_html)
    
    # 提取数据
    element = await page.queryselector("div.dynamic-content")
    text = await page.evaluate("(element) => element.textcontent", element)
    print(text)
    
    # 关闭浏览器
    await browser.close()

# 运行异步任务
asyncio.get_event_loop().run_until_complete(fetch_rendered_html())

优缺点

优点：轻量级，直接控制chrome，适合高性能爬取。
缺点：仅支持chromium，异步编程可能增加复杂度。

方法4：使用requests-html（轻量级方案）

requests-html结合了**requests**和**pyppeteer**，适合简单动态页面。

示例代码

from requests_html import htmlsession

session = htmlsession()
url = "https://example.com"

# 渲染js
response = session.get(url)
response.html.render(timeout=20)  # 等待js执行

# 获取渲染后的html
rendered_html = response.html.html
print(rendered_html)

# 提取数据
element = response.html.find("div.dynamic-content", first=true)
print(element.text)

优缺点

优点：api简单，适合小型爬虫。
缺点：功能有限，不适合复杂页面。

总结与选择建议

方法	适用场景	速度	复杂度
selenium	需要兼容多种浏览器	慢	中等
playwright	高性能、现代浏览器自动化	快	低
pyppeteer	直接控制chrome	快	中高
requests-html	轻量级动态渲染	中	低