Nekoray 是一个用于网络爬虫的工具，支持通过多种渠道（如 HTTP 请求、JavaScript 渠道、文件下载等）抓取网页内容，以下是使用 Nekoray 的详细指南：
安装 Nekoray
需要安装 Nekoray,通过以下命令可以安装：
pip install nekoray
确保安装后，库已经被正确加载到你的 Python 环境中。
概念和基本用法
Nekoray 提供了多种爬虫方式,包括：
- HTTP 请求：通过发送 HTTP 请求来获取网页内容。
- JavaScript 渠道：处理动态加载的内容，使用浏览器渲染引擎（如 Selenium）。
- 文件下载：下载网页上的文件或附件。
- API 请求：通过 API 接口获取数据。
配置和使用
1 初始化爬虫
使用 Nekoray 初始化爬虫：
from nekoray.crawler import Crawler crawler = Crawler()
2 设置请求参数
设置爬虫的请求参数，如 URL、深度限制、等待时间等：
# 指定起始 URL
url = 'https://example.com'
# 设置爬虫参数
crawler.params = {
'url': url,
'depth': 1, # 爬取的深度，默认为 1
'timeout': 10, # 超时时间，默认为 10 秒
'wait': 1, # 等待时间，默认为 1 秒
# 其他参数如 headers, cookies 等也可以设置
}
# 开始爬虫
result = crawler.crawl()
3 处理响应
爬虫完成后,处理返回的结果：
# 如果有结果
if result.status == 200:
content = result.body
# 处理响应内容
else:
print(f'请求失败，状态码：{result.status}')
使用示例：抓取淘宝商品信息
以下是一个抓取淘宝商品信息的示例：
from nekoray.crawler import Crawler
from time import sleep
crawler = Crawler()
crawler.params = {
'url': 'https://search.tao.com/search?keyword=手机',
'depth': 2,
'timeout': 10,
'wait': 1,
'headers': {
'User-Agent': 'Mozilla/5. (Windows NT 10.; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58..3029.110 Safari/537.3'
},
}
# 开始爬虫
result = crawler.crawl()
if result.status == 200:
content = result.body
# 处理内容，比如解析 HTML
from bs4 import BeautifulSoup
soup = BeautifulSoup(content, 'html.parser')
for product in soup.find_all('li', class_='gl-item'):
title = product.h2.text.strip()
price = product.find('div', class_='p-price').text.strip()
print(f"标题: {title}, 价格: {price}")
else:
print(f'请求失败，状态码：{result.status}')
# 间隔一秒重复请求，防止被封IP
sleep(1)
处理动态加载内容（JavaScript）
如果目标网页内容动态加载，使用 JavaScript 渠道：
from nekoray.crawler import Crawler
from selenium import webdriver
# 初始化浏览器
driver = webdriver.Chrome()
driver.get('https://example.com')
crawler = Crawler()
crawler.params = {
'url': 'https://example.com',
'depth': 1,
'render': 'selenium', # 使用 Selenium 渲染
'selenium_driver': driver,
}
# 开始爬虫
result = crawler.crawl()
if result.status == 200:
content = result.body
print("页面已成功渲染）
else:
print(f'请求失败，状态码：{result.status}')
# 关闭浏览器
driver.quit()
处理文件下载
如果需要下载网页上的文件或附件：
from nekoray.crawler import Crawler
crawler = Crawler()
# 设置爬虫参数，指定 URL 和文件路径
crawler.params = {
'url': 'https://example.com/file.zip',
'save_path': 'download',
}
# 开始爬虫
result = crawler.crawl()
if result.status == 200:
print("文件已下载到 download 文件夹中")
else:
print(f'请求失败，状态码：{result.status}')
使用 API
Nekoray 提供了一个简单的 API,可以用来执行自定义爬虫任务：
from nekoray import execute_crawler
# 定义爬虫函数
def my_crawler():
crawler = Crawler()
crawler.params = {
'url': 'https://example.com',
'depth': 1,
}
result = crawler.crawl()
return result.body
# 执行爬虫
body = execute_crawler(my_crawler)
print(body)
错误处理
在爬虫过程中，可能会遇到错误，Nekoray 提供了错误处理机制,例如重试策略：
from nekoray.crawler import Crawler
crawler = Crawler()
crawler.params = {
'url': 'https://example.com',
'depth': 1,
'timeout': 5,
'max_retries': 3, # 最大重试次数
'retry_delay': 1, # 重试间隔时间
}
try:
result = crawler.crawl()
if result.status != 200:
print(f'请求失败，状态码：{result.status}')
except Exception as e:
print(f'错误：{e}')
调试和优化
- 调试：使用
print或日志记录输出信息,查看爬虫过程中的数据。 - 优化：根据需求调整爬虫参数，如
depth、timeout、wait等,以优化爬虫速度和效果。
社区支持
如果在使用过程中遇到问题，可以在 Nekoray 的社区或开发者社区寻求帮助,获取更多资源和支持。
通过以上步骤，你可以顺利使用 Nekoray 进行网络爬虫任务。
