自动化爬虫神器：把网页转成大模型所需数据 助力 AI 应用与大模型训练全面优化！

Firecrawl^[1] 是一款先进的网络抓取和数据转换工具，可将任何网站转换为干净、适用 LLM 的 Markdown 文档或结构化数据。仅用单个 API 一次性完成抓取、搜索、数据清洗和数据提取全流程操作。

Firecrawl 的特点

• 会抓取所有可访问的子页面，即使没有站点地图（sitemap）。
• 即使网站使用 JavaScript 来渲染内容，也能采集数据。
• 返回干净、格式良好的 Markdown 文档，可直接用于 LLM 应用程序中。
• 抓取过程支持并行处理，能快速返回结果。
• 会缓存内容，除非有新内容出现，否则您无需等待全面搜索。
• 由 LLM 工程师打造，为您提供您想要的干净数据。

Firecrawl 近期还上线了一个新的功能 —— LLM Extract，即利用大语言模型（LLM）快速完成网页数据的提取。

如何使用 Firecrewl

Firecrewl 提供了多种开箱即用的使用方式，不仅支持 API 或 SDK 集成，还支持在 LangChain 或 Llama Index 等框架中直接使用。

• API
• Python SDK
• Node SDK
• Langchain Integration^[2] ?
• Llama Index Integration^[3] ?
• LangchainJS^[4] ?
• Zapier

除了上述的方式外，Firecrewl 还支持本地部署。

Firecrewl 快速上手

前置条件

首先，你需要注册 Firecrawl 并获取 API key。

一、使用 API

1.抓取 URL

用于抓取 URL 和所有可访问的子页面。提交抓取任务并返回任务 ID，以检查抓取状态。

curl -X POST https://api.firecrawl.dev/v0/crawl 
    -H 'Content-Type: application/json' 
    -H 'Authorization: Bearer YOUR_API_KEY' 
    -d '{
      "url": "https://mendable.ai"
    }'

成功调用 API 之后，会返回一个 jobId：

{ "jobId": "1234-5678-9101" }

2.获取指定抓取任务的状态

用于检查抓取任务的状态并获取其结果。

curl -X GET https://api.firecrawl.dev/v0/crawl/status/1234-5678-9101 
  -H 'Content-Type: application/json' 
  -H 'Authorization: Bearer YOUR_API_KEY'

成功调用 API 之后，会以 JSON 的格式返回爬取任务的状态：

{
  "status": "completed",
  "current": 22,
  "total": 22,
  "data": [
    {
      "content": "Raw Content ",
      "markdown": "# Markdown Content",
      "provider": "web-scraper",
      "metadata": {
        "title": "Mendable | AI for CX and Sales",
        "description": "AI for CX and Sales",
        "language": null,
        "sourceURL": "https://www.mendable.ai/"
      }
    }
  ]
}

二、使用 Python SDK

1.安装 Python SDK

pip install firecrawl-py

2.抓取网站

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="YOUR_API_KEY")

crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})

# Get the markdown
for result in crawl_result:
    print(result['markdown'])

3.抓取单个 URL 要抓取单个 URL，请使用 scrape_url 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。

url = 'https://example.com'
scraped_data = app.scrape_url(url)

三、使用 Node SDK

1.安装 Node SDK

npm install @mendable/firecrawl-js

2.抓取网站

要抓取网站，请使用 crawlUrl 方法。它将起始 URL 和可选参数作为参数。params 参数允许您为爬取任务指定其他选项。比如，要爬取的最大页面数、允许的域和输出格式。

const crawlUrl = 'https://example.com';
const params = {
  crawlerOptions: {
    excludes: ['blog/'],
    includes: [], // leave empty for all pages
    limit: 1000,
  },
  pageOptions: {
    onlyMainContent: true
  }
};
const waitUntilDone = true;
const timeout = 5;
const crawlResult = await app.crawlUrl(
  crawlUrl,
  params,
  waitUntilDone,
  timeout
);

3.抓取 URL

要抓取单个 URL，请使用 scrapeUrl 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。

try {
  const url = 'https://example.com';
  const scrapedData = await app.scrapeUrl(url);
  console.log(scrapedData);

} catch (error) {
  console.error(
    'Error occurred while scraping:',
    error.message
  );
}

4.从指定 URL 抽取结构化数据

通过 LLM Extract，您可以轻松地从任何 URL 提取结构化数据。Firecrawl 支持 zod 模式，让您的工作更轻松。以下是使用方法：

import FirecrawlApp from "@mendable/firecrawl-js";
import { z } from "zod";

const app = new FirecrawlApp({
  apiKey: "fc-YOUR_API_KEY",
});

// Define schema to extract contents into
const schema = z.object({
  top: z
    .array(
      z.object({
        title: z.string(),
        points: z.number(),
        by: z.string(),
        commentsURL: z.string(),
      })
    )
    .length(5)
    .describe("Top 5 stories on Hacker News"),
});

const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {
  extractorOptions: { extractionSchema: schema },
});

console.log(scrapeResult.data["llm_extraction"]);

5.使用搜索查询

使用 search 方法，您可以在搜索引擎中搜索查询，并获得排名靠前的结果以及每个结果的页面内容。该方法将 query 查询短语作为参数，并返回搜索结果。

const query = 'what is mendable?';
const searchResults = await app.search(query, {
  pageOptions: {
    fetchPageContent: true // Fetch the page content for each search result
  }
});

四、在 Langchain 中使用

Firecrawl 以文档加载器的方式与 Langchain 集成。

1.安装 firecrawl-py

pip install firecrawl-py

2.使用 FireCrawlLoader

crawl 模式：抓取网站和所有可访问的子页面，并 Markdown 格式返回每个子页面。

from langchain_community.document_loaders import FireCrawlLoader

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY", 
    url="https://firecrawl.dev", 
    mode="crawl"
)

docs = loader.load()

scrape 模式： 抓取单个网址并以 Markdown 格式返回当前页面。

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY",
    url="https://firecrawl.dev",
    mode="scrape",
)

data = loader.load()

五、在 Langchain JS 中使用

1.安装 @mendableai/firecrawl-js

npm install @mendableai/firecrawl-js

2.使用 FireCrawlLoader

import { FireCrawlLoader } from "langchain/document_loaders/web/firecrawl";

const loader = new FireCrawlLoader({
  url: "https://firecrawl.dev", // The URL to scrape
  apiKey: process.env.FIRECRAWL_API_KEY, // Optional, defaults to `FIRECRAWL_API_KEY` in your env.
  mode: "scrape", // The mode to run the crawler in. Can be "scrape" for single urls or "crawl" for all accessible subpages
  params: {
    // optional parameters based on Firecrawl API docs
    // For API documentation, visit https://docs.firecrawl.dev
  },
});

const docs = await loader.load();

Firecrawl 官网上还提供了 5 个 Firecrawl 的使用示例，比如使用 Groq Llama 3 API 实现 Chat with website 的功能，感兴趣的话，可以阅读官网上的相关文档。