Moderazione dei contenuti IA — trust & safety multimodale con Claude

Perché gli LLM superano la moderazione basata su regole

Sarcasmo. Allusioni in codice. Uso improprio del contesto del marchio ("Adoro questo prodotto, ma odio il servizio clienti"). Sfumature multilingue. Combinazioni di immagine e didascalia in cui ciascun elemento supera il controllo da solo, ma non insieme. La moderazione basata su regole gestisce forse il 60% dei casi di trust & safety. Il 40% più difficile è esattamente l'ambito in cui gli LLM eccellono: comprendono il contesto, l'intento e la distanza tra le parole letterali e il significato.

Le pipeline di moderazione moderne combinano entrambi: regole per il 60% più semplice (regex, blocklist di URL, hash di CSAM) e LLM per il 40% che richiede giudizio.

Moderazione del testo — Claude Haiku 4.5

Haiku è economico e veloce — ideale per la moderazione ad alto volume:

import json
from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

POLICY = """You are a content moderator. Judge the content against these
categories: toxic, spam, harassment, sexual, violence, self_harm, deception,
brand_unsafe. Be conservative — when in doubt, flag for human review."""

# Claude enforces a json_schema response_format; json_object it does not.
VERDICT = {
    "type": "object",
    "properties": {
        "verdict": {"type": "string", "enum": ["allow", "review", "block"]},
        "categories": {"type": "array", "items": {"type": "string", "enum": [
            "toxic", "spam", "harassment", "sexual", "violence",
            "self_harm", "deception", "brand_unsafe"]}},
        "confidence": {"type": "number"},  # 0.0-1.0
        "rationale": {"type": "string"},   # one sentence
    },
    "required": ["verdict", "categories", "confidence", "rationale"],
    "additionalProperties": False,
}
RESPONSE_FORMAT = {"type": "json_schema",
                   "json_schema": {"name": "verdict", "schema": VERDICT}}

def moderate_text(text: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # cheap + fast for high-volume
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": text},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Costo per chiamata: circa 0,0001–0,0003 $ in base alla lunghezza dell'input. Con 1 milione di eventi di moderazione al mese: circa 100–300 $. Rispetto alle API di moderazione commerciali (Perspective circa 0,0005 $/chiamata, Hive circa 0,002 $/chiamata, Sightengine 0,003 $/chiamata), la moderazione basata su LLM ha un costo comparabile o inferiore e una comprensione contestuale molto migliore.

Moderazione delle immagini — Claude Haiku 4.5

Per le immagini, Claude Haiku 4.5 è il modello di visione più economico del catalogo e abbastanza veloce da essere inserito nel flusso di pubblicazione:

def moderate_image(image_url: str) -> dict:
    resp = client.chat.completions.create(
        model="claude-haiku-4-5",  # vision + cheap
        messages=[
            {"role": "system", "content": POLICY},
            {"role": "user", "content": [
                {"type": "text", "text": "Moderate this image:"},
                {"type": "image_url", "image_url": {"url": image_url}},
            ]},
        ],
        response_format=RESPONSE_FORMAT,
        max_tokens=200,
    )
    return json.loads(resp.choices[0].message.content)

Costo per immagine: circa 0,001–0,003 $. Moderazione combinata di testo e immagini per piattaforme social con 100.000 post al giorno: circa 3.000–9.000 $ al mese.

Il modello dei verdetti a tre livelli

• allow: bassa probabilità di violazione → pubblica immediatamente
• review: probabilità media → inserisci nella coda del moderatore umano. Qui ricade la maggior parte dei verdetti degli LLM, ma la revisione è economica
• block: alta probabilità di violazione grave (CSAM, minacce credibili, doxxing) → rifiuta + registra + inoltra

Non bloccare automaticamente basandoti solo sul verdetto dell'LLM, salvo per categorie a tolleranza zero. I falsi positivi costano utenti; lascia agli esseri umani la decisione sulle zone grigie.

Confronto con le alternative

Il vantaggio degli LLM è la personalizzazione delle policy. Hive e Sightengine offrono categorie fisse. Con Claude scrivi la policy in inglese (o in qualsiasi altra lingua) e il modello si adatta. Vuoi aggiungere una nuova categoria soggetta a restrizioni? Aggiorna il prompt di sistema. Non è necessario riaddestrare il modello.

Aspetti di conformità

• DSA (Digital Services Act dell'UE): impone alle piattaforme di pubblicare rapporti sulla trasparenza della moderazione. Il campo rationale nel JSON precedente è ciò che devi registrare
• CSAM: non instradarlo mai attraverso un LLM. Usa il confronto degli hash (NCMEC, IWF): gli LLM non sono lo strumento adatto per contenuti illegali noti
• PII nei contenuti moderati: esegui l'hashing o la pseudonimizzazione prima dell'invio all'LLM quando gestisci DM o messaggi privati — consulta la guida alla conformità

Inizia: registrazione gratuita, poi consulta il riferimento /docs/chat per sapere cosa impone response_format a ciascuna famiglia di modelli.

FAQ