AI 內容審核——使用 Claude 實現多模態信任與安全

為什麼 LLM 優於規則式審核

諷刺。暗語。品牌情境誤用（「我喜歡這項產品，但討厭客服」）。多語言細微差異。圖片與說明文字的組合：單獨看都能通過，但合在一起卻不行。規則式審核可能只能處理信任與安全案例的 60%。最困難的 40% 正是 LLM 的強項——它們能理解情境、意圖，以及字面文字與實際含義之間的差距。

現代審核管線會結合兩者：規則處理簡單的 60%（正規表示式、URL 封鎖清單、雜湊比對的 CSAM），LLM 處理需要判斷的 40%。

文字審核——Claude Haiku 4.5

Haiku 便宜且快速，非常適合高流量審核：

moderate_text.py

import json
from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

POLICY = """You are a content moderator. Judge the content against these
categories: toxic, spam, harassment, sexual, violence, self_harm, deception,
brand_unsafe. Be conservative — when in doubt, flag for human review."""

# Claude enforces a json_schema response_format; json_object it does not.
VERDICT = {
    "type": "object",
    "properties": {
        "verdict": {"type": "string", "enum": ["allow", "review", "block"]},
        "categories": {"type": "array", "items": {"type": "string", "enum": [
            "toxic", "spam", "harassment", "sexual", "violence",
            "self_harm", "deception", "brand_unsafe"]}},
        "confidence": {"type": "number"},  # 0.0-1.0
        "rationale": {"type": "string"},   # one sentence
    },
    "required": ["verdict", "categories", "confidence", "rationale"],
    "additionalProperties": False,
}
RESPONSE_FORMAT = {"type": "json_schema",
                   "json_schema": {"name": "verdict", "schema": VERDICT}}

def moderate_text(text: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # cheap + fast for high-volume
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": text},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

每次呼叫成本：約 $0.0001–0.0003，取決於輸入長度。每月 1M 次審核事件：約 $100–300。與商用審核 API 相比（Perspective 約 $0.0005/次、Hive 約 $0.002/次、Sightengine $0.003/次），以 LLM 為基礎的審核成本相當或更低，且情境理解能力好得多。

圖片審核——Claude Haiku 4.5

對圖片而言，Claude Haiku 4.5 是目錄中最便宜的視覺模型，速度也足以直接放在發文流程中：

moderate_image.py

def moderate_image(image_url: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # vision + cheap
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": [
                {"type": "text", "text": "Moderate this image:"},
                {"type": "image_url", "image_url": {"url": image_url}},
            ]},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

每張圖片成本：約 $0.001–0.003。對每天 100K 篇貼文的社群平台進行文字與圖片合併審核：約 $3,000–9,000/月。

三層判定模式

allow：任何違規的信心度低 → 立即發布
review：信心度中等 → 排入人工審核佇列。多數 LLM 判定會落在此處，但審核成本低
block：嚴重違規的信心度高（CSAM、可信的威脅、人肉搜尋）→ 拒絕 + 記錄 + 升級處理

除非屬於零容忍類別，否則不要只根據 LLM 判定自動封鎖。誤判會讓您流失使用者；灰色地帶應交由人工決定。

與替代方案比較

工具	每 1M 次呼叫的成本	優勢
Perspective API（Google）	免費（有速率限制）	英文毒性評分
Hive Moderation	~$2,000	圖片、影片、音訊——強大
Sightengine	~$3,000	圖片專用
OpenAI Moderation	免費	僅文字，類別有限
Kunavo + Haiku	文字約 $100–300／圖片約 $1,000	具備情境理解、多語言與自訂政策

LLM 的優勢在於政策自訂。Hive 和 Sightengine 提供固定類別；使用 Claude 時，您可以用英文（或任何語言）撰寫政策，模型會據此調整。要新增受限類別？更新系統提示即可，不需要重新訓練模型。

合規面向

DSA（歐盟數位服務法）：要求平台發布審核透明度報告。上述 JSON 中的 rationale 欄位就是您要記錄的內容
CSAM：絕不要透過 LLM 處理。請使用雜湊比對（NCMEC、IWF）——LLM 不適合處理已知的非法內容
經審核內容中的 PII：如果處理私人 DM／訊息，傳送至 LLM 前請先雜湊或假名化——請參閱合規指南

開始使用：免費註冊，接著閱讀 /docs/chat 參考文件，了解 response_format 對各模型系列施加的限制。

常見問題

AI 內容審核每次呼叫要花多少錢？

使用 Claude Haiku 4.5 進行文字審核，每次約 $0.0002；使用同一模型進行影像加文字審核，每次約 $0.001——與 Hive 或 Sightengine 相當或更便宜。

LLM 比規則式審核系統好嗎？

對於明確的內容，兩者都能勝任。差異出現在最棘手的 40% 情境——反諷、暗語、品牌脈絡誤用和多語言細微差異——LLM 審核在這些情況下明顯優於規則式審核。

AI 審核系統應該自動封鎖內容嗎？

只限零容忍類別。三層判定模式會將 allow 導向發布、review 導向人工佇列、block 導向拒絕並記錄，讓灰色地帶交由人工處理。

如何隨時間提升審核準確度？

每週檢視人工佇列中的判定、找出分類錯誤，並更新 system prompt。無須重新訓練模型。