Kiểm duyệt nội dung AI — an toàn và tin cậy đa phương thức với Claude

Vì sao LLM vượt trội hơn kiểm duyệt dựa trên quy tắc

Mỉa mai. Ẩn ý dành cho một nhóm cụ thể. Lạm dụng ngữ cảnh thương hiệu ("Tôi yêu sản phẩm này nhưng ghét dịch vụ khách hàng"). Sắc thái đa ngôn ngữ. Các tổ hợp hình ảnh+chú thích mà từng phần riêng lẻ đều vượt qua nhưng kết hợp lại thì không. Kiểm duyệt dựa trên quy tắc xử lý được có lẽ 60% các trường hợp tin cậy & an toàn. 40% khó nhất chính là nơi LLM tỏa sáng — chúng hiểu ngữ cảnh, ý định và khoảng cách giữa từ ngữ theo nghĩa đen với ý nghĩa thực sự.

Các pipeline kiểm duyệt hiện đại kết hợp cả hai: quy tắc cho 60% dễ xử lý (regex, danh sách chặn URL, CSAM đối chiếu bằng hash), LLM cho 40% cần phán đoán.

Kiểm duyệt văn bản — Claude Haiku 4.5

Haiku rẻ và nhanh — lý tưởng cho kiểm duyệt khối lượng lớn:

import json
from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

POLICY = """You are a content moderator. Judge the content against these
categories: toxic, spam, harassment, sexual, violence, self_harm, deception,
brand_unsafe. Be conservative — when in doubt, flag for human review."""

# Claude enforces a json_schema response_format; json_object it does not.
VERDICT = {
    "type": "object",
    "properties": {
        "verdict": {"type": "string", "enum": ["allow", "review", "block"]},
        "categories": {"type": "array", "items": {"type": "string", "enum": [
            "toxic", "spam", "harassment", "sexual", "violence",
            "self_harm", "deception", "brand_unsafe"]}},
        "confidence": {"type": "number"},  # 0.0-1.0
        "rationale": {"type": "string"},   # one sentence
    },
    "required": ["verdict", "categories", "confidence", "rationale"],
    "additionalProperties": False,
}
RESPONSE_FORMAT = {"type": "json_schema",
                   "json_schema": {"name": "verdict", "schema": VERDICT}}

def moderate_text(text: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # cheap + fast for high-volume
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": text},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Chi phí mỗi lần gọi: khoảng $0,0001-0.0003 tùy độ dài đầu vào. Với 1 triệu sự kiện kiểm duyệt/tháng: khoảng $100-300. So với các API kiểm duyệt thương mại (Perspective khoảng $0,0005/lần gọi, Hive khoảng $0,002/lần gọi, Sightengine $0,003/lần gọi), kiểm duyệt dựa trên LLM có chi phí tương đương hoặc thấp hơn, đồng thời hiểu ngữ cảnh tốt hơn nhiều.

Kiểm duyệt hình ảnh — Claude Haiku 4.5

Với hình ảnh, Claude Haiku 4.5 là model thị giác rẻ nhất trong danh mục và đủ nhanh để nằm trong luồng đăng bài:

def moderate_image(image_url: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # vision + cheap
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": [
                {"type": "text", "text": "Moderate this image:"},
                {"type": "image_url", "image_url": {"url": image_url}},
            ]},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Chi phí mỗi hình ảnh: khoảng $0,001-0.003. Kiểm duyệt văn bản+hình ảnh kết hợp cho nền tảng xã hội có 100K bài đăng/ngày: khoảng $3.000-9.000/tháng.

Mẫu phán quyết ba tầng

• allow: độ tin cậy về việc có vi phạm rất thấp → xuất bản ngay
• review: độ tin cậy trung bình → đưa vào hàng đợi để người kiểm duyệt xem xét. Phần lớn phán quyết của LLM nằm ở đây nhưng chi phí xem xét thấp
• block: độ tin cậy cao về vi phạm nghiêm trọng (CSAM, đe dọa đáng tin cậy, doxxing) → từ chối + ghi log + chuyển cấp

Không tự động chặn chỉ dựa trên phán quyết của LLM, trừ khi đó là danh mục không khoan nhượng. Dương tính giả khiến bạn mất người dùng; hãy để con người quyết định vùng xám.

So sánh với các lựa chọn khác

Ưu thế của LLM là khả năng tùy chỉnh chính sách. Hive và Sightengine cung cấp các danh mục cố định. Với Claude, bạn viết chính sách bằng tiếng Anh (hoặc bất kỳ ngôn ngữ nào) và model sẽ thích ứng. Muốn thêm một danh mục bị hạn chế? Cập nhật system prompt. Không cần huấn luyện lại model.

Các khía cạnh tuân thủ

• DSA (Đạo luật Dịch vụ Kỹ thuật số của EU): yêu cầu các nền tảng công bố báo cáo minh bạch về kiểm duyệt. Trường rationale trong JSON ở trên là thứ bạn ghi log
• CSAM: không bao giờ định tuyến qua LLM. Hãy dùng đối chiếu bằng hash (NCMEC, IWF) — LLM không phải công cụ phù hợp cho nội dung bất hợp pháp đã biết
• PII trong nội dung được kiểm duyệt: băm hoặc giả danh hóa trước khi gửi đến LLM nếu xử lý DM/tin nhắn riêng tư — xem hướng dẫn tuân thủ

Bắt đầu: đăng ký miễn phí, sau đó đọc tài liệu tham chiếu /docs/chat để biết response_format áp dụng gì trên từng họ model.

Câu hỏi thường gặp