Moderasi konten AI — trust & safety multimodal dengan Claude

Mengapa LLM mengungguli moderasi berbasis aturan

Sarkasme. Peluit anjing. Penyalahgunaan dalam konteks merek ("Saya menyukai produk ini, tetapi membenci layanan pelanggannya"). Nuansa multibahasa. Kombinasi gambar dan keterangan ketika masing-masing lolos jika diperiksa sendiri, tetapi tidak jika digabungkan. Moderasi berbasis aturan mungkin hanya menangani 60% kasus trust & safety. Sebanyak 40% kasus yang sulit justru merupakan keunggulan LLM — LLM memahami konteks, maksud, dan kesenjangan antara kata-kata literal dan makna.

Pipeline moderasi modern menggabungkan keduanya: aturan untuk 60% kasus mudah (regex, daftar blokir URL, CSAM yang dicocokkan berdasarkan hash), dan LLM untuk 40% kasus yang memerlukan penilaian.

Moderasi teks — Claude Haiku 4.5

Haiku murah dan cepat — ideal untuk moderasi volume tinggi:

import json
from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

POLICY = """You are a content moderator. Judge the content against these
categories: toxic, spam, harassment, sexual, violence, self_harm, deception,
brand_unsafe. Be conservative — when in doubt, flag for human review."""

# Claude enforces a json_schema response_format; json_object it does not.
VERDICT = {
    "type": "object",
    "properties": {
        "verdict": {"type": "string", "enum": ["allow", "review", "block"]},
        "categories": {"type": "array", "items": {"type": "string", "enum": [
            "toxic", "spam", "harassment", "sexual", "violence",
            "self_harm", "deception", "brand_unsafe"]}},
        "confidence": {"type": "number"},  # 0.0-1.0
        "rationale": {"type": "string"},   # one sentence
    },
    "required": ["verdict", "categories", "confidence", "rationale"],
    "additionalProperties": False,
}
RESPONSE_FORMAT = {"type": "json_schema",
                   "json_schema": {"name": "verdict", "schema": VERDICT}}

def moderate_text(text: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # cheap + fast for high-volume
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": text},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Biaya per panggilan: ~$0,0001-0.0003 bergantung pada panjang input. Pada 1 juta peristiwa moderasi per bulan: ~$100-300. Bandingkan dengan API moderasi komersial (Perspective sekitar ~$0,0005/panggilan, Hive sekitar ~$0,002/panggilan, Sightengine $0,003/panggilan) — moderasi berbasis LLM sebanding atau lebih murah, dengan pemahaman konteks yang jauh lebih baik.

Moderasi gambar — Claude Haiku 4.5

Untuk gambar, Claude Haiku 4.5 adalah model visi termurah dalam katalog dan cukup cepat untuk ditempatkan dalam alur publikasi:

def moderate_image(image_url: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # vision + cheap
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": [
                {"type": "text", "text": "Moderate this image:"},
                {"type": "image_url", "image_url": {"url": image_url}},
            ]},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Biaya per gambar: ~$0,001-0.003. Moderasi teks+gambar gabungan untuk platform sosial dengan 100 ribu posting per hari: ~$3.000-9,000/bulan.

Pola keputusan tiga tingkat

• allow: keyakinan rendah terhadap adanya pelanggaran → langsung publikasikan
• review: keyakinan sedang → masukkan ke antrean moderator manusia. Sebagian besar keputusan LLM berada di sini, tetapi murah untuk ditinjau
• block: keyakinan tinggi terhadap pelanggaran berat (CSAM, ancaman kredibel, doxxing) → tolak + catat + eskalasikan

Jangan memblokir otomatis hanya berdasarkan keputusan LLM, kecuali kategorinya tanpa toleransi. Positif palsu membuat pengguna pergi; biarkan manusia memutuskan area abu-abu.

Perbandingan dengan alternatif

Keunggulan LLM adalah kustomisasi kebijakan. Hive dan Sightengine memberi Anda kategori tetap. Dengan Claude, Anda menulis kebijakan dalam bahasa Inggris (atau bahasa apa pun) dan model akan menyesuaikan diri. Ingin menambahkan kategori terbatas baru? Perbarui system prompt. Tidak perlu melatih ulang model.

Aspek kepatuhan

• DSA (EU Digital Services Act): mewajibkan platform menerbitkan laporan transparansi moderasi. Kolom rationale dalam JSON di atas adalah yang Anda catat
• CSAM: jangan pernah merutekannya melalui LLM. Gunakan pencocokan hash (NCMEC, IWF) — LLM bukan alat yang tepat untuk konten ilegal yang sudah diketahui
• PII dalam konten yang dimoderasi: hash atau pseudonimkan sebelum mengirim ke LLM jika menangani DM/pesan pribadi — lihat panduan kepatuhan

Mulai: pendaftaran gratis, lalu baca referensi /docs/chat untuk mengetahui apa yang diterapkan response_format pada setiap keluarga model.

Pertanyaan umum