Firecrawl 安装使用教程

🚀 项目介绍

Firecrawl 是一个强大的开源 API 服务，专门为 AI 应用提供网页数据采集能力。它能将任何网站转换为干净的 Markdown、结构化 JSON、截图等格式，让大语言模型（LLM）直接消费。

⚡ 核心功能

📋 环境要求

方式一：使用云端 API（推荐）

方式二：自托管部署

⚙️ 安装使用（API 方式）

获取 API Key

Python SDK

pip install firecrawl-py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 抓取单个页面
doc = app.scrape("https://example.com", formats=["markdown"])
print(doc.markdown)

# 使用 Agent 智能提取
result = app.agent(prompt="找出 Notion 的定价方案")
print(result.data)

Node.js SDK

npm install @mendable/firecrawl-js

import Firecrawl from '@mendable/firecrawl-js';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// 抓取单个页面
const doc = await app.scrape('https://example.com', { formats: ['markdown'] });
console.log(doc.markdown);

cURL 直接调用

curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://example.com"}'

🐳 自托管部署

git clone https://github.com/mendableai/firecrawl.git
cd firecrawl

cp .env.example .env
# 编辑 .env 文件，配置必要的环境变量

docker compose up -d

💻 实战示例

1. 提取结构化数据（JSON 模式）

from firecrawl import Firecrawl
from pydantic import BaseModel

app = Firecrawl(api_key="fc-YOUR_API_KEY")

class CompanyInfo(BaseModel):
    company_mission: str
    is_open_source: bool

result = app.scrape(
    'https://firecrawl.dev',
    formats=[{"type": "json", "schema": CompanyInfo.model_json_schema()}]
)
print(result.json)

2. 全站爬取

# 爬取整个文档站点
docs = app.crawl("https://docs.firecrawl.dev", limit=50)
for doc in docs.data:
    print(doc.metadata.source_url, doc.markdown[:100])

3. Agent 智能提取

# 只需描述你要什么，Agent 自动帮你找
result = app.agent(
    prompt="对比 Firecrawl、Apify 和 ScrapingBee 的企业版功能",
    model="spark-1-pro"
)
print(result.data)

4. 搜索 + 抓取

# 搜索互联网并获取完整页面内容
results = app.search(
    "最好的 AI 编程工具 2026",
    limit=5,
    scrape_options={"formats": ["markdown"]}
)

❓ 常见问题

Q1: Firecrawl 免费吗？

Firecrawl 提供免费额度（每月 500 次抓取），超出后需要付费。自托管部署完全免费，但需要自己准备服务器。

Q2: 和 BeautifulSoup/Scrapy 有什么区别？

传统爬虫需要手写解析规则、处理反爬、管理代理池。Firecrawl 一个 API 搞定所有这些，输出直接是 LLM 可用的格式。

Q3: 支持 JavaScript 动态渲染的页面吗？

支持！Firecrawl 内置 Headless 浏览器，能完美处理 SPA（单页应用）、动态加载内容。还支持 Actions（点击、滚动、输入等操作）。

Q4: 可以用于商业项目吗？

云端 API 可直接用于商业项目。自托管版本使用 AGPL-3.0 协议，商业使用需注意开源义务。

Q5: 抓取速度怎么样？

单页抓取通常 2-5 秒完成。批量抓取支持异步并发，可同时处理数千个 URL。Agent 模式根据任务复杂度，通常 10-30 秒返回结果。

Q6: 有 MCP 支持吗？

有！Firecrawl 官方提供了 MCP Server，可以让 Claude、Cursor 等 AI 工具直接调用 Firecrawl 能力。安装方式：npx skills add firecrawl/cli