MGTD هو أكبر وأقوى معيار لتقييم كواشف النصوص المولدة بالذكاء الاصطناعي في الوقت الحالي. يضم أكثر من 6 ملايين عينة نصية مولدة بواسطة 11 نموذجًا مختلفًا عبر 8 مجالات.

حصد It's AI المركز الأول مع أكثر من 95.8% من الدقة عند 5% FPR، متفوقًا على جميع كواشف الذكاء الاصطناعي الأخرى التي شملها التقييم.
مجموعة بيانات GPT Reddit (GRiD) تتألف من أزواج سياق وسؤال مأخوذة من Reddit، مع إجابات يكتبها البشر وأخرى يولدها ChatGPT.
إن HC3 (مجموعة مقارنة إجابات البشر وChatGPT) تتضمن ما يقرب من 40 ألف سؤال وإجاباتها البشرية وChatGPT المتقابلة.
إن Ghostbusters تستخدم نموذج GPT-3.5-turbo لإنتاج نصوص في مجالات الكتابة الإبداعية والأخبار ومقالات الطلاب.
على هذه المجموعة حقق It's AI دقة 98% ودرجة F1 بنسبة 96%، متفوقًا على جميع الكواشف المذكورة في الورقة (لم تُدرَس الكواشف التجارية هناك).
CUDRT (الإنشاء، التحديث، الحذف، إعادة الكتابة، والترجمة) هي مجموعة بيانات ثنائية اللغة شاملة صُممت لتقييم كواشف النصوص المولدة بالذكاء الاصطناعي عبر سيناريوهات مختلفة لتوليد النص.

في معيار CUDRT اعتُمِدت الحلول مفتوحة المصدر فقط، وقد حصلنا على المركز الأول في 6 من أصل 8 مهام وتفوّقنا في المتوسط على أفضل حل مذكور بنسبة 7% في درجة F1.
بشكل عام أصبح It's AI نموذجًا جديدًا في مستوى الأفضل (SOTA) وتفوق على الكواشف الأخرى في المعايير الثلاثة المدروسة، ما يؤكد اتساقه وموثوقيته.
اقرأ تقريرنا التفصيلي عن نتائج المعايير وأساليب القياس ومؤشراتنا.
