إشراف المحتوى

صفِّ اللغة المسيئة في التعليقات والمحادثات وأسماء المستخدمين والمراجعات قبل أن تصل إلى بقية المستخدمين.

المشكلة#

حقول النص المفتوحة تجذب المزعج والإساءة. الإشراف اليدوي لا يتسع، وقوائم الكلمات تفوّتها الأخطاء الإملائية والسياق. تحتاج إلى مرحلة أولى سريعة تعالج الحالات الواضحة وتحيل غير المؤكدة إلى البشر.

الإشارات التي تُدمج#

• كشف الألفاظ المسيئة: riskScore وحكم isSafe للنص، مع إمكانية سرد الكلمات المطابقة.
• تقييم البريد وسمعة IP للمخالفين المتكررين الذين يفتحون حسابات مؤقتة.
• القوائم السوداء للمستخدمين أو الشبكات المحظورة سابقًا.

خطوات التكامل#

1. عند إرسال المستخدم نصًا استدعِ كشف الألفاظ المسيئة من خادمك. مرّر userID ليسهل تتبع المسيئين في الأحداث.
2. إن كان isSafe صحيحًا فانشر فورًا.
3. إن كان غير آمن بدرجة عالية فارفض واذكر القاعدة المخالَفة.
4. للنتائج الحدّية انشر كمعلّق وأحِلها إلى مشرف.
5. احسب المخالفات المتكررة لكل مستخدم وصعّد إلى كتم مؤقت.

<?php
$text = $_POST['comment'];

$url = 'https://gurdx.cretip.com/api/scoring/profanity?' . http_build_query([
    'text' => $text,
    'userID' => $user->id,
]);
$res = json_decode(file_get_contents($url, false, stream_context_create(['http' => [
    'header' => 'Authorization: Bearer ' . getenv('GURDX_KEY'),
    'timeout' => 4,
]])), true);

if (($res['status'] ?? '') !== 'success') {
    $state = 'pending';           // fail safe: queue for a human
} elseif ($res['data']['isSafe']) {
    $state = 'published';
} elseif ($res['data']['riskScore'] >= 0.8) {
    $state = 'rejected';
} else {
    $state = 'pending';
}

عتبات مقترحة#

درجة هذه النقطة على مقياس من 0 إلى 1، ويُنشئ Gurdx حدثًا من 0.5 فأعلى.

اعتمد حدودًا أشد لجمهور الأطفال وأخف للمنتديات الموجهة للبالغين. وقسّم النصوص الطويلة إلى أجزاء إذا بلغت حدود الطلب.

Warning: المصنّفات تخطئ، خاصة مع الاقتباسات والكلمات المستعادة واللغات المختلطة. أتح للمستخدمين الاعتراض وراجع عينة من المحتوى المرفوض آليًا بانتظام.

أرسل تنبيه دردشة لأحداث profanity إلى قناة المشرفين. ذو صلة: منع الحسابات الوهمية.