Yapay zekâ içerik moderasyonu — Claude ile çok modlu güven ve emniyet

LLM'ler neden kural tabanlı moderasyondan daha iyidir?

Alaycılık. Belirli bir grubun anlayacağı kodlu ifadeler. Marka bağlamının yanlış kullanımı (“Bu ürünü seviyorum ama müşteri hizmetlerinden nefret ediyorum”). Çok dilli nüanslar. Her bir öğenin tek başına geçtiği, ancak birlikte geçmediği görsel+açıklama kombinasyonları. Kural tabanlı moderasyon, güven ve emniyet vakalarının belki %60'ını ele alır. Zor olan %40 tam da LLM'lerin güçlü olduğu alandır — bağlamı, amacı ve kelimelerin birebir anlamıyla kastedilen anlam arasındaki farkı anlarlar.

Modern moderasyon hatları ikisini birlikte kullanır: kolay %60 için kurallar (regex, URL engel listeleri, hash eşleşmeli CSAM); muhakeme gerektiren %40 için LLM.

Metin moderasyonu — Claude Haiku 4.5

Haiku ucuz ve hızlıdır — yüksek hacimli moderasyon için idealdir:

import json
from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

POLICY = """You are a content moderator. Judge the content against these
categories: toxic, spam, harassment, sexual, violence, self_harm, deception,
brand_unsafe. Be conservative — when in doubt, flag for human review."""

# Claude enforces a json_schema response_format; json_object it does not.
VERDICT = {
    "type": "object",
    "properties": {
        "verdict": {"type": "string", "enum": ["allow", "review", "block"]},
        "categories": {"type": "array", "items": {"type": "string", "enum": [
            "toxic", "spam", "harassment", "sexual", "violence",
            "self_harm", "deception", "brand_unsafe"]}},
        "confidence": {"type": "number"},  # 0.0-1.0
        "rationale": {"type": "string"},   # one sentence
    },
    "required": ["verdict", "categories", "confidence", "rationale"],
    "additionalProperties": False,
}
RESPONSE_FORMAT = {"type": "json_schema",
                   "json_schema": {"name": "verdict", "schema": VERDICT}}

def moderate_text(text: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # cheap + fast for high-volume
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": text},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Çağrı başına maliyet: girdi uzunluğuna bağlı olarak yaklaşık $0,0001-0.0003. Ayda 1 milyon moderasyon olayı için: yaklaşık $100-300. Ticari moderasyon API'leriyle karşılaştırıldığında (Perspective yaklaşık $0,0005/çağrı, Hive yaklaşık $0,002/çağrı, Sightengine $0,003/çağrı), LLM tabanlı moderasyon benzer veya daha ucuzdur ve bağlamı çok daha iyi anlar.

Görsel moderasyonu — Claude Haiku 4.5

Görseller için Claude Haiku 4.5 katalogdaki en ucuz görsel modelidir ve paylaşım akışında kullanılabilecek kadar hızlıdır:

def moderate_image(image_url: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # vision + cheap
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": [
                {"type": "text", "text": "Moderate this image:"},
                {"type": "image_url", "image_url": {"url": image_url}},
            ]},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Görsel başına maliyet: yaklaşık $0,001-0.003. Günde 100 bin gönderi alan sosyal platformlarda birleşik metin+görsel moderasyonu: ayda yaklaşık $3.000-9.000.

Üç katmanlı karar düzeni

• allow: ihlal olasılığı düşük → hemen yayınla
• review: olasılık orta → insan moderatör kuyruğuna al. LLM kararlarının çoğu burada olur; incelenmesi ucuzdur
• block: ciddi ihlal olasılığı yüksek (CSAM, inandırıcı tehditler, doxxing) → reddet + günlüğe yaz + üst makama ilet

Sıfır tolerans kategorisi olmadıkça yalnızca LLM kararına dayanarak otomatik engelleme yapmayın. Yanlış pozitifler kullanıcı kaybettirir; gri alanda kararı insanlara bırakın.

Alternatiflerle karşılaştırma

LLM'lerin avantajı politika özelleştirmesidir. Hive ve Sightengine size sabit kategoriler sunar. Claude ile politikayı İngilizce (veya herhangi bir dilde) siz yazarsınız ve model buna uyum sağlar. Yeni bir kısıtlı kategori mi ekleyeceksiniz? Sistem istemini güncelleyin. Modeli yeniden eğitmeniz gerekmez.

Uyumluluk açısından

• DSA (AB Dijital Hizmetler Yasası): platformların moderasyon şeffaflık raporları yayımlamasını gerektirir. Yukarıdaki JSON'daki rationale alanı kaydetmeniz gereken alandır
• CSAM: hiçbir zaman LLM üzerinden yönlendirmeyin. Hash eşleştirme kullanın (NCMEC, IWF) — bilinen yasa dışı içerik için LLM'ler doğru araç değildir
• Modere edilen içerikte PII: özel DM/mesajlarla çalışıyorsanız LLM'e göndermeden önce hash'leyin veya takma adlandırın — uyumluluk kılavuzuna bakın

Başlamak için: ücretsiz kayıt olun, ardından her model ailesinin uyguladığı kuralları görmek üzere /docs/chat referansını okuyun: response_format.

SSS