მე გამოვცადე 10 AI შინაარსის დეტექტორი - და ეს 3 სწორად იდენტიფიცირებული AI ტექსტი ყოველ ჯერზე

ზოგიერთი დეტექტორი უკეთესია AI- ს წერილობითი ტექსტის დასადგენად, ვიდრე სხვები. აი, რატომ აქვს ამ შერეულ შედეგებს მნიშვნელობა.

როდესაც პირველად გამოვიკვლიე, შესაძლებელია თუ არა ბრძოლა AI-ის მიერ გენერირებული პლაგიატის წინააღმდეგ და როგორ შეიძლება ეს მიდგომა იმუშაოს, ეს იყო 2023 წლის იანვარი, მხოლოდ რამდენიმე თვის განმავლობაში მსოფლიოს მიერ გენეტიკური AI-ის შესახებ ცნობიერების ამაღლებაში. 

ეს არის ამ ორიგინალური 2023 წლის იანვრის სტატიის განახლებული ვერსია. როდესაც პირველად გამოვცადე GPT დეტექტორები, მე გამოვიყენე სამი: GPT-2 გამომავალი დეტექტორი (ეს არის სხვა URL, ვიდრე ადრე გამოვაქვეყნეთ), Writer.com AI შინაარსის დეტექტორი და შინაარსი Scale AI შინაარსის გამოვლენაში (რომელსაც ახლა BrandWell ეწოდება). 

საუკეთესო შედეგი იყო 66% სწორი GPT-2 გამომავალი დეტექტორიდან. მე კიდევ ერთი ტესტი გავაკეთე 2023 წლის ოქტომბერში და დავამატე კიდევ სამი: GPTZero, ZeroGPT (დიახ, ისინი განსხვავებულები არიან) და Writefull's GPT დეტექტორი. შემდეგ, 2024 წლის ზაფხულში, მე დავამატე QuillBot და კომერციული მომსახურება, Originality.ai, მიქსს. ამჯერად, მე დავამატებ Grammarly- ს ბეტა ჩეკერს და დეტექტორს Undetectable.ai.

2023 წლის ოქტომბერში, მე ამოვიღე Writer.com AI Content Detector ჩვენი საცდელი პაკეტიდან, რადგან ის ვერ მოხერხდა 2023 წლის იანვარში, ის კვლავ ვერ მოხერხდა ოქტომბერში და ის ვერ მოხერხდა 2024 წლის ზაფხულში. თუმცა, როგორც ჩანს, ის მუშაობს, ამიტომ მე მათ შორის ვარ ტესტის კომპლექტში. იხილეთ ქვემოთ კომპანიის კომენტარისთვის, რომელიც მათმა გუნდმა გამომიგზავნა იანვარში ორიგინალური სტატიის გამოქვეყნების შემდეგ.

მე ხელახლა გავუშვა ყველა ტესტი, რომ ვნახო, როგორ ასრულებენ დეტექტორები დღეს. მიუხედავად იმისა, რომ ორი ძლიერი წარმატება მქონდა, დიდი მიღწევა, როგორც ჩანს, ის არის, რომ შედეგები არათანმიმდევრულია ერთი AI შემმოწმებლისგან მეორეზე.

რისთვის ვამოწმებ და როგორ ვაკეთებ ამას

მაგრამ სანამ მეც გავდივარ, უნდა განვიხილოთ პლაგიატი და როგორ უკავშირდება ეს ჩვენს პრობლემას. Merriam-Webster განსაზღვრავს "პლაგიატს", როგორც "მოპარვას და გასვლას (სხვისი იდეები ან სიტყვები), როგორც საკუთარი; გამოიყენეთ (სხვისი წარმოება) წყაროს დაკრედიტების გარეშე.

ეს განმარტება კარგად შეესაბამება AI-ის მიერ შექმნილ შინაარსს. მიუხედავად იმისა, რომ ვინმე იყენებს AI ინსტრუმენტს, როგორიცაა Notion AI ან ChatGPT, არ იპარავს შინაარსს, თუ ეს ადამიანი არ აკრედიტებს სიტყვებს, როგორც AI- დან მოდის და აცხადებს მათ, როგორც საკუთარ თავს, ის მაინც აკმაყოფილებს პლაგიატის ლექსიკონის განმარტებას.

ამ ექსპერიმენტულ სტატიაში მე ვთხოვე ChatGPT- ს დახმარება. ჩემი სიტყვები ნორმალურ და თამამი ტექსტშია. AI-ის სიტყვები იტალიზირებულია. თითოეული AI- ის გენერირებული განყოფილების შემდეგ, მე ვაჩვენებ დეტექტორების შედეგებს. სტატიის დასასრულს, ჩვენ გადავხედავთ რამდენად კარგად შესრულდა დეტექტორები.

აქ მოცემულია ტესტის შედეგები ზემოთ მოცემული ტექსტისთვის, რომელიც მე თვითონ დავწერე:

• GPT-2 გამომავალი დეტექტორი: 99.98% რეალური 
• Writer.com: ადამიანის მიერ გენერირებული შინაარსის 95%
• BrandWell AI შინაარსის გამოვლენა: გადის როგორც ადამიანი
• GPTZero: 98% ადამიანი
• ZeroGPT: 22% AI GPT თქვენი ტექსტი ყველაზე მეტად ადამიანის დაწერილია
• Writefull GPT დეტექტორი: 1% სავარაუდოდ, ეს მოდის GPT-3, GPT-4 ან ChatGPT
• Originality.ai: ჩვენ 99% დარწმუნებული ვართ, რომ ტექსტი ორიგინალია
• QuillBot: ტექსტის 42% სავარაუდოდ გენერირებულია AI-ით
• გრამატიკა: ჩვენ არ აღმოვაჩინეთ საერთო AI ტექსტის ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ის მიერ წარმოქმნილ ტექსტს
• ამოუცნობი: 100% ადამიანი

ადამიანის მიერ დაწერილი შინაარსი: 8-of-10 (80%) სწორი
ბოლო დროს: 5-of-7 (71%) სწორი 

სანამ გადავდივართ, მოდით განვიხილოთ რა განვიხილავ "სწორი" ანალიზს. თუ ქულა რიცხვითია, 80% -ზე მეტი რამ ჩაითვლება სწორ ანალიზად და ეს არის გულუხვი. თუ ქულას აქვს რეზიუმე, მე გადავხედავ რეზიუმეს და გავაკეთებ განაჩენს. 

ამით, მოდით გათხრა კიდევ რამდენიმე.

ახსენით, რატომ შეიძლება ChatGPT იყოს ნამდვილი პრობლემა მასწავლებლებისა და რედაქტორებისთვის, როდესაც საქმე პლაგიატს ეხება

ChatGPT არის GPT (გენეტიკური წინასწარ მომზადებული ტრანსფორმატორის) ენის მოდელის ვარიანტი, რომელიც შემუშავებულია OpenAI- ს მიერ. იგი შექმნილია ადამიანის მსგავსი ტექსტის შესაქმნელად შემდეგი სიტყვის ან ფრაზის პროგნოზირებით მოცემული შეყვანის თანმიმდევრობით. მიუხედავად იმისა, რომ ChatGPT შეიძლება იყოს სასარგებლო ინსტრუმენტი ტექსტის გენერირებისა და მოთხოვნებზე რეაგირებისთვის, ის ასევე შეიძლება იყოს პრობლემა მასწავლებლებისა და რედაქტორებისთვის, როდესაც საქმე პლაგიატს ეხება.

ერთ-ერთი მთავარი მიზეზი, რის გამოც ChatGPT შეიძლება იყოს პრობლემა მასწავლებლებისა და რედაქტორებისთვის, არის ის, რომ მას შეუძლია შექმნას ტექსტი, რომელიც ძალიან ჰგავს ნამდვილ ადამიანის მწერლებს. ეს ნიშნავს, რომ სტუდენტებს ან სხვა პირებს შეეძლოთ პოტენციურად გამოიყენონ ChatGPT ტექსტის შესაქმნელად, რომელიც მათ შეეძლოთ წარმოადგინონ როგორც საკუთარი ნამუშევარი, რითაც ჩაიდინეს პლაგიატი.

მასწავლებლებისა და რედაქტორებისთვის, იმის დადგენა, წარმოიქმნა თუ არა მოცემული ტექსტი ChatGPT- ის მიერ ან ადამიანის მიერ დაწერილი, შეიძლება ძალიან რთული იყოს, რადგან გენერირებული ტექსტი შეიძლება არ შეიცავდეს აშკარა შეცდომებს ან შეუსაბამობებს, რომლებიც გამოავლენს მის ხელოვნურ წარმოშობას. ამან შეიძლება გაართულოს მასწავლებლებსა და რედაქტორებს პლაგიატის იდენტიფიცირება და თავიდან აცილება, რადგან მათ შეიძლება ვერ შეძლონ იმის თქმა, არის თუ არა მოცემული ტექსტი ორიგინალი ან გადაწერილი სხვა წყაროდან.

საერთო ჯამში, ChatGPT და სხვა მსგავსი ენის მოდელები შეიძლება იყოს პრობლემა მასწავლებლებისა და რედაქტორებისთვის, როდესაც საქმე პლაგიატს ეხება, რადგან მათ შეუძლიათ შექმნან ტექსტი, რომლის გარჩევა ძნელია ადამიანების მიერ დაწერილისგან, რაც სტუდენტებს და სხვა პირებს უადვილებს პლაგიატის ჩადენას გამოვლენის გარეშე.

• GPT-2 გამომავალი დეტექტორი: 99.69% რეალური
• Writer.com: ადამიანის მიერ გენერირებული 77%
• BrandWell AI შინაარსის გამოვლენა: ძნელი სათქმელია
• GPTZero: 100% AI
• ZeroGPT: 100% AI
• Writefull GPT დეტექტორი: 12% სავარაუდოდ, ეს მოდის GPT-3, GPT-4 ან ChatGPT
• Originality.ai: 100% AI
• QuillBot: 83% სავარაუდოდ AI
• გრამატიკა: ჩვენ არ აღმოვაჩინეთ საერთო AI ტექსტის ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ის მიერ წარმოქმნილ ტექსტს
  
• ამოუცნობი: 100% AI

AI-დაწერილი შინაარსი: 5-of-10 (50%) შეასწორეთ
ბოლო დროს: 4-of-7 (57%) სწორი

გახსოვდეთ, იტალიაში ნაჩვენები ტექსტი გენერირებულია AI- ის მიერ.

მაჩვენე მინიმუმ სამი გზა, რომლითაც შემიძლია ChatGPT- ის აღმოჩენა, გამოიყენებოდა ტექსტის ნაწილის წარმოებისთვის

არსებობს რამდენიმე გზა, რომლითაც შეგიძლიათ პოტენციურად აღმოაჩინოთ, გამოიყენებოდა თუ არა ChatGPT ან სხვა ენის მოდელი ტექსტის ნაწილის წარმოებისთვის. აქ მოცემულია სამი პოტენციური მიდგომა, რომელთა გამოყენებაც შეგიძლიათ:

1. მოძებნეთ ტექსტში განმეორებადი ან უჩვეულო ნიმუშები: ერთი გზა იმის დასადგენად, გამოიყენებოდა თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად, არის წერილობით განმეორებადი ან უჩვეულო ნიმუშების ძებნა. მაგალითად, ენის მოდელებმა შეიძლება გაიმეორონ გარკვეული ფრაზები ან სიტყვების კომბინაციები, ან გამოიყენონ უჩვეულო ან არათანმიმდევრული წინადადების სტრუქტურები.
2. შეამოწმეთ ორიგინალობის ნაკლებობა: კიდევ ერთი გზა იმის დასადგენად, გამოიყენებოდა თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად, არის წერილობით ორიგინალობის ნაკლებობის შემოწმება. თუ ტექსტის ნაწილი, როგორც ჩანს, კოპირებულია სხვა წყაროდან, ან თუ ის შეიცავს ინფორმაციას, რომელიც ფართოდ არის ხელმისაწვდომი ინტერნეტში ან სხვა წყაროებში, ეს შეიძლება იყოს ნიშანი იმისა, რომ იგი წარმოიქმნა ენის მოდელის მიერ.
3. გამოიყენეთ პლაგიატის შემმოწმებელი: დაბოლოს, შეგიძლიათ გამოიყენოთ პლაგიატის შემმოწმებელი, რათა შეამოწმოთ, არის თუ არა ტექსტის ნაწილის კოპირება სხვა წყაროდან. მიუხედავად იმისა, რომ პლაგიატის შემმოწმებელი შეიძლება ვერ შეძლოს საბოლოოდ დაადგინოს, გამოიყენებოდა თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად, ის დაგეხმარებათ სხვა წყაროებიდან კოპირების ან პარაფრაზირების შემთხვევების დადგენაში.
4. გაითვალისწინეთ, როდესაც პასუხი აშკარად არასწორია: ამაზე ვისაუბრე ჩემს Notion AI მიმოხილვაში, სადაც მე ვაშუქებდი რამდენიმე ტექსტს, რომელიც AI- მა დაწერა მოჩვენებითი ავტორიტეტით, მაგრამ რაც აშკარად არასწორი იყო. თუ სტუდენტს ან მწერალს არ აქვს სრული ბრძანება განხილული თემის შესახებ, მათ შეიძლება არ შეამჩნიონ უზუსტობა და დატოვონ ისინი AI- ის მიერ წარმოქმნილ პასუხში. რა თქმა უნდა, არასწორი განცხადებები არ არის მხოლოდ AI წერის ინსტრუმენტის გადახედვა. ბევრი ბლოგერი და კომენტატორი, მაგალითად, იმეორებს სხვა ბლოგერების მიერ გაკეთებულ განცხადებებს, ქმნის სრულიად "ცრუ ფაქტების" ექო პალატას, რაც აჩვენებს, რომ მიუხედავად იმისა, რომ ინტელექტი შეიძლება იყოს ხელოვნური, სისულელე უნივერსალური თვისებაა.

გაითვალისწინეთ, რომ ძნელია საბოლოოდ განსაზღვროთ, გამოიყენებოდა თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად და ეს მეთოდები შეიძლება ყოველთვის არ იყოს ეფექტური. ამასთან, ისინი შეიძლება იყოს სასარგებლო ინსტრუმენტები, რომლებიც დაგეხმარებათ ენის მოდელის გენერირებული ტექსტის პოტენციური შემთხვევების იდენტიფიცირებაში.

ტესტების ამ ნაკრებში, მხოლოდ ზემოთ მოყვანილი italicized შინაარსი გადიოდა checker Suite- ის საშუალებით.

• GPT-2 გამომავალი დეტექტორი: 99.98% ყალბი
• Writer.com: ადამიანის მიერ გენერირებული 73%
• BrandWell AI შინაარსის გამოვლენა: გადის როგორც ადამიანი
• GPTZero: 100% AI
• ZeroGPT: 96.99% გენერირებული AI
• Writefull GPT დეტექტორი: 79% სავარაუდოდ, ეს მოდის GPT-3, GPT-4 ან ChatGPT
• Originality.ai: 100% AI
• QuillBot: 100% AI
• გრამატიკა: ჩვენ არ აღმოვაჩინეთ საერთო AI ტექსტის ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ის მიერ წარმოქმნილ ტექსტს
  
• ამოუცნობი: 100% AI

AI-დაწერილი შინაარსი: 6-of-10 (60%) შეასწორეთ
ბოლო დროს: 5-of-7 (71%) სწორი

ჩამოთვალეთ პლაგიატის სამი ქვა, რომელსაც შეუძლია ChatGPT ტექსტის ამოცნობა

აღსანიშნავია, რომ ამჟამად არ არსებობს პლაგიატის შემოწმება, რომელიც სპეციალურად შექმნილია ChatGPT ან სხვა ენობრივი მოდელების მიერ წარმოქმნილი ტექსტის დასადგენად. მიუხედავად იმისა, რომ ზოგიერთ პლაგიატის შემმოწმებლებს შეუძლიათ დაადგინონ ენის მოდელის მიერ გენერირებული ტექსტის გარკვეული მახასიათებლები, რომლებიც შეიძლება მიუთითებდეს მის ხელოვნურ წარმოშობაზე, არ არსებობს გარანტია, რომ მათ შეეძლებათ საბოლოოდ განსაზღვრონ, წარმოიქმნა თუ არა ტექსტის ნაჭერი ენის მოდელის მიერ.

ამასთან ერთად, აქ მოცემულია პლაგიატის სამი შემმოწმებელი, რომელთა გამოყენებაც შეგიძლიათ ენის მოდელის გენერირებული ტექსტის პოტენციური შემთხვევების დასადგენად:

1. Turnitin: Turnitin არის პოპულარული პლაგიატის შემოწმება, რომელსაც ფართოდ იყენებენ სკოლები და უნივერსიტეტები. იგი ადარებს ტექსტის ნაწილს სხვა ტექსტების მონაცემთა ბაზას, რათა დადგინდეს კოპირების ან პარაფრაზირების შემთხვევები. მიუხედავად იმისა, რომ მას არ შეუძლია საბოლოოდ დაადგინოს, წარმოიქმნა თუ არა ტექსტის ნაჭერი ენის მოდელის მიერ, მას შეუძლია პოტენციურად დაადგინოს ენის მოდელის მიერ გენერირებული ტექსტის გარკვეული მახასიათებლები, რაც შეიძლება მიუთითებდეს მის ხელოვნურ წარმოშობაზე.
2. PlagScan: PlagScan არის კიდევ ერთი პლაგიატის შემმოწმებელი, რომელიც ადარებს ტექსტის ნაწილს სხვა ტექსტების მონაცემთა ბაზასთან, კოპირების ან პარაფრაზირების შემთხვევების დასადგენად. Turnitin- ის მსგავსად, მას შეუძლია დაადგინოს ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლები, რომლებიც შეიძლება მიუთითებდეს მის ხელოვნურ წარმოშობაზე, მაგრამ ის სპეციალურად არ არის შექმნილი ენის მოდელის გენერირებული ტექსტის დასადგენად.
3. Copyleaks: Copyleaks არის პლაგიატის შემმოწმებელი, რომელიც იყენებს მანქანური სწავლების მოწინავე ალგორითმებს ტექსტის ნაწილის სკანირებისთვის და სხვა ტექსტების მონაცემთა ბაზასთან შედარებისთვის, კოპირების ან პარაფრაზირების შემთხვევების დასადგენად. მიუხედავად იმისა, რომ მას შეუძლია დაადგინოს ენის მოდელის მიერ გენერირებული ტექსტის გარკვეული მახასიათებლები, ის სპეციალურად არ არის შექმნილი ენის მოდელის გენერირებული ტექსტის დასადგენად.

აღსანიშნავია, რომ პლაგიატის შემოწმება არ არის სრულიად სულელური და ყოველთვის არსებობს შესაძლებლობა, რომ ენის მოდელის გენერირებული ტექსტის ნაჭერმა შეძლოს თავი დააღწიოს გამოვლენას. აქედან გამომდინარე, მნიშვნელოვანია პლაგიატის ქვების გამოყენება, როგორც უფრო დიდი სტრატეგიის მხოლოდ ერთი ნაწილი პლაგიატის გამოვლენისა და თავიდან ასაცილებლად.

• GPT-2 გამომავალი დეტექტორი: 99.58% რეალური
• Writer.com: ადამიანის მიერ გენერირებული 74%
• BrandWell AI შინაარსის გამოვლენა: გადის როგორც ადამიანი
• GPTZero: 100% AI
• ZeroGPT: 100% AI
• Writefull GPT დეტექტორი: 87% სავარაუდოდ, ეს მოდის GPT-3, GPT-4 ან ChatGPT
• Originality.ai: 100% AI
• QuillBot: 100% გენერირებული AI
• გრამატიკულად: პლაგიატი ან AI ტექსტი არ არის გამოვლენილი
• ამოუცნობი: 100% AI

AI-დაწერილი შინაარსი: 6-of-10 (55%) სწორი
ბოლო დროს: 5-of-7 (71%) სწორი

ონლაინ AI პლაგიატის ქვები

პლაგიატის დეტექტორების უმეტესობა გამოიყენება სხვა წერის კორპუსის წინააღმდეგ წერის შესადარებლად. მაგალითად, როდესაც სტუდენტი გამოდის ესეში, ისეთი პროდუქტი, როგორიცაა Turnitin, დაასკანირებს წარდგენილ ესეს მის მონაცემთა ბაზაში ესეების უზარმაზარი ბიბლიოთეკის წინააღმდეგ, და სხვა დოკუმენტები და ტექსტი ინტერნეტში, რათა დადგინდეს, შეიცავს თუ არა წარდგენილი ესე უკვე დაწერილ შინაარსს.

თუმცა, AI-წერის ინსტრუმენტები წარმოქმნიან ორიგინალურ შინაარსს, ყოველ შემთხვევაში, თეორიულად. დიახ, ისინი აშენებენ თავიანთ შინაარსს იმისგან, რაზეც ისინი გაწვრთნილნი არიან, მაგრამ მათ მიერ აშენებული სიტყვები გარკვეულწილად უნიკალურია თითოეული კომპოზიციისთვის.

როგორც ასეთი, ზემოთ ნახსენები პლაგიატის შემმოწმებლები ალბათ არ იმუშავებენ, რადგან AI- ის მიერ გენერირებული შინაარსი ალბათ არ არსებობდა, ვთქვათ, სხვა სტუდენტის ნაშრომი.

ამ სტატიაში ჩვენ უბრალოდ ვუყურებთ GPT დეტექტორებს. მაგრამ პლაგიატი დიდი პრობლემაა და, როგორც ვნახეთ, ზოგი ირჩევს პლაგიატის განსაზღვრას, როგორც თქვენ აცხადებთ, როგორც თქვენი, რომ თქვენ არ დაწერეთ, ზოგი კი ირჩევს პლაგიატის განსაზღვრას, როგორც სხვის მიერ დაწერილი რამ, რომელსაც თქვენ აცხადებთ, თქვენია.

ეს განსხვავება აქამდე არასდროს ყოფილა პრობლემა. ახლა, როდესაც ჩვენ გვყავს არაადამიანური მწერლები, პლაგიატის განსხვავება უფრო ნიუანსურია. ყველა მასწავლებელზე, სკოლაზე, რედაქტორსა და ინსტიტუტზეა გადასაწყვეტი, თუ სად არის ეს ხაზი შედგენილი.

• GPT-2 გამომავალი დეტექტორი: 99.56% რეალური
• Writer.com: 98% ადამიანის მიერ გენერირებული შინაარსი
• BrandWell AI შინაარსის გამოვლენა: გადის როგორც ადამიანი
• GPTZero: 98% ადამიანი
• ZeroGPT: 16.82% AI - თქვენი ტექსტი ადამიანის მიერ არის დაწერილი
• Writefull GPT დეტექტორი: 7% სავარაუდოდ, ეს მოდის GPT-3, GPT-4 ან ChatGPT
• Originality.ai: 100% ორიგინალი
• QuillBot: 0% AI
• გრამატიკულად: პლაგიატი ან AI ტექსტი არ არის გამოვლენილი
• ამოუცნობი: 100% ადამიანი

AI-დაწერილი შინაარსი: 10-of-10 (100%) სწორი
ბოლო დროს: 7-of-7 (100%) სწორი

საერთო შედეგები

საერთო ჯამში, შედეგები ზოგადად იგივე დარჩა ტესტების ბოლო რაუნდთან შედარებით. იმ დროს, ჩვენ გვქონდა სამი მომსახურება სრულყოფილი ქულებით. ZeroGPT, ჩვენი ერთ-ერთი სრულყოფილი ქულის მქონე მოთამაშემ, ვერ შეძლო ტესტი, რომელიც ადრე წარმატებას მიაღწია. ორმა ახალმა დეტექტორმა, Writer.com და გრამატიკამ, არ გააუმჯობესა ქულა. სინამდვილეში, ორივე ზოგადად წარუმატებელი აღმოჩნდა. მაგრამ არარადივე მიიღო სწორი პასუხი ყოველ ჯერზე.

მიუხედავად იმისა, რომ იყო სრულყოფილი ქულები, მე არ გირჩევთ დაეყრდნოთ მხოლოდ ამ ინსტრუმენტებს სტუდენტის შინაარსის დასადასტურებლად. როგორც ნაჩვენებია, არამშობლიური დინამიკებისგან წერა ხშირად ფასდება, როგორც გენერირებული AI- ს მიერ და მიუხედავად იმისა, რომ ჩემი ხელით შექმნილი შინაარსი აღარ არის შეფასებული, როგორც AI, ტესტერების მიერ რამდენიმე აბზაცი იყო მონიშნული, როგორც შესაძლოა AI- ზე დაფუძნებული. თქვენ ასევე ხედავთ, თუ როგორ არის შედეგები ძალიან არათანმიმდევრული ტესტირების სისტემებს შორის. ასე რომ, მე მხარს ვუჭერდი სიფრთხილეს, სანამ ამ ინსტრუმენტების რომელიმე (ან ყველა) შედეგებს დავეყრდნობოდი.

მოდით შევხედოთ ინდივიდუალურ ტესტერებს და ვნახოთ, როგორ შესრულდა თითოეული.

GPT-2 გამომავალი დეტექტორი (სიზუსტე 60%)

ეს პირველი ინსტრუმენტი აშენდა მანქანური სწავლების ჰაბის გამოყენებით, რომელსაც მართავს ნიუ იორკში დაფუძნებული AI კომპანია Hugging Face. მიუხედავად იმისა, რომ კომპანიამ მიიღო 40 მილიონი დოლარის დაფინანსება ბუნებრივი ენის ბიბლიოთეკის შესაქმნელად, GPT-2 დეტექტორი, როგორც ჩანს, მომხმარებლის მიერ შექმნილი ინსტრუმენტია Hugging Face Transformers ბიბლიოთეკის გამოყენებით. ხუთი ტესტიდან, რომელიც მე გავიქეცი, დეტექტორი ზუსტი იყო სამში.

Writer.com AI შინაარსის დეტექტორი (სიზუსტე N/A)

Writer.com არის სერვისი, რომელიც ქმნის AI წერას, რომელიც ორიენტირებულია კორპორატიულ გუნდებზე. მისი AI შინაარსის დეტექტორის ინსტრუმენტს შეუძლია დაასკანიროს გენერირებული შინაარსი. ეს ინსტრუმენტი არასანდო აღმოჩნდა. მიუხედავად იმისა, რომ მან ადრე ვერ შეძლო შედეგების გამომუშავება, ამჯერად გაიქცა. სამწუხაროდ, მისი სიზუსტე საკმაოდ დაბალი იყო. მან არსებითად დაასახელა ტექსტის თითოეული ბლოკი, როგორც ადამიანის მიერ დაწერილი, სადაც ექვსი ტესტიდან სამი დაიწერა ChatGPT- ის მიერ.

მას შემდეგ, რაც ეს სტატია თავდაპირველად გამოქვეყნდა იანვარში, Writer.com ხალხი ZDNET- ს დაუკავშირდა. აღმასრულებელი დირექტორი მაი ჰაბიბს ჰქონდა ეს კომენტარი გასაზიარებლად:

AI დეტექტორზე მოთხოვნა გაიზარდა. ტრაფიკი კვირაში 2-3x გაიზარდა მას შემდეგ, რაც რამდენიმე თვის წინ დავიწყეთ. ჩვენ ახლა გვაქვს საჭირო მასშტაბირება მის უკან, რათა დავრწმუნდეთ, რომ ის არ იკლებს და ჩვენი მიზანია მისი შენარჩუნება თავისუფალი - და დღემდე, რომ დაიჭიროთ უახლესი მოდელების შედეგები, მათ შორის ჩვენი. თუ AI გამომავალი გამოყენებული იქნება verbatim, ეს აბსოლუტურად უნდა მიეკუთვნოს.

BrandWell AI შინაარსის გამოვლენა (სიზუსტე 40%)

მესამე ინსტრუმენტი, რომელიც მე აღმოვაჩინე, თავდაპირველად წარმოებულია AI შინაარსის გენერაციის ფირმის, შინაარსის მასშტაბის მიერ. შემდგომში, ინსტრუმენტი გადავიდა BrandWell.ai, რომელიც, როგორც ჩანს, ახალი სახელია იმისა, რაც ახლა AI- ზე ორიენტირებული მარკეტინგული მომსახურების კომპანიაა.

სამწუხაროდ, სიზუსტე საკმაოდ დაბალი იყო. ინსტრუმენტმა გამოავლინა ყველა AI შინაარსი, როგორც ადამიანი, როგორც ამ ეკრანის სურათზე:

ეს ტექსტი მთლიანად დაწერა ChatGPT- მა.

GPTZero (სიზუსტე 100%)

ბოლომდე არ არის ნათელი, თუ რა მართავს GPTZero- ს. კომპანია ქირაობს ინჟინრებს და გაყიდვების ხალხს და ის მუშაობს AWS- ზე, ამიტომ არის ხარჯები და გაყიდვები. ამასთან, მხოლოდ მე შემეძლო სერვისის შეთავაზების შესახებ მეპოვა ადგილი, სადაც შეგიძლიათ დარეგისტრირდეთ უფასო ანგარიშზე, რომ დაასკანიროთ 5,000-ზე მეტი სიტყვა, რომელიც შემოთავაზებულია შესვლის გარეშე. თუ თქვენ დაინტერესებული ხართ ამ სერვისით GPT გამოვლენისთვის, თქვენ უნდა ნახოთ, უპასუხებენ თუ არა ისინი უფრო დეტალურად. სიზუსტე გაიზარდა მას შემდეგ, რაც პირველად ჩავაბარე ტესტები და ამ რაუნდისთვის 100% -ით დავრჩი.

ZeroGPT (სიზუსტე 80%)

როგორც ჩანს, ZeroGPT მომწიფდა, როგორც სერვისი, რადგან ჩვენ ბოლოს შევხედეთ მას. როდესაც ჩვენ ბოლოს შევხედეთ, კომპანიის სახელი არ იყო ჩამოთვლილი და საიტი იყო Google რეკლამები, მონეტიზაციის აშკარა სტრატეგიის გარეშე. სამსახური საკმაოდ კარგად მუშაობდა, მაგრამ ესკიზური ჩანდა.

ეს ესკიზური გრძნობა ახლა გაქრა. ZeroGPT წარმოადგენს როგორც ნებისმიერ სხვა SaaS სერვისს, სრული ფასებით, კომპანიის სახელით, საკონტაქტო ინფორმაციით და ყველა დანარჩენით. ის ჯერ კიდევ საკმაოდ კარგად ასრულებს, ასე რომ, ალბათ, დეველოპერებმა გადაწყვიტეს თავიანთი სამუშაო კოდი უფრო სამუშაო ბიზნესად ექციათ. სიზუსტე დაეცა. მან შეცდომაში შეიყვანა ერთი ადამიანის მიერ დაწერილი ტესტი, როგორც AI.

Writefull GPT დეტექტორი (სიზუსტე 60%)

Writefull ყიდის წერის დამხმარე სერვისებს და მისი ინსტრუმენტების უფასო გემოს. GPT დეტექტორი საკმაოდ ახალია და საკმაოდ კარგად მუშაობს. თუმცა, ინსტრუმენტი ჰქონდა გარკვეული ups და downs ჩვენს ტესტებში. ეს გაუმჯობესდა 60% -დან 80% -მდე ადრე, მაგრამ ამჯერად ისევ 60% -მდე შემცირდა.

Originality.ai (სიზუსტე 100%, სახის)

Originality.ai არის კომერციული სერვისი, რომელიც თავს იკავებს როგორც AI და პლაგიატის შემოწმება. კომპანია ყიდის თავის მომსახურებას გამოყენების კრედიტების საფუძველზე. იდეის მისაცემად, ყველა სკანირება, რაც მე გავაკეთე ამ სტატიისთვის, გამოიყენა 30 გამოყენების კრედიტი. კომპანია თვეში 2,000 კრედიტს ყიდის თვეში 12.95 დოლარად. მე სისტემის მეშვეობით 1,400 სიტყვა გავათრიე და ყოველთვიური გამოყოფის მხოლოდ 1.5% გამოვიყენე.

შედეგები შესანიშნავი იყო AI შემოწმებისთვის, მაგრამ ინსტრუმენტმა ხუთჯერ ვერ შეძლო სერვისის პლაგიატის შემოწმებად გამოყენებისას. შემდეგი ეკრანის ანაბეჭდი ამტკიცებს, რომ ტექსტი ჩასვეს 0% პლაგიატი:

ეს არასწორია, რადგან ინსტრუმენტში ჩასმული ყველა ტექსტი იყო ამ სტატიიდან, რომელიც გამოქვეყნდა ინტერნეტით ორი წლის განმავლობაში. მე ვფიქრობდი, ალბათ, რომ პლაგიატის სკანერმა ვერ წაიკითხა ZDNET შინაარსი, მაგრამ ეს ასე არ არის, როგორც ეს ეკრანის ანაბეჭდი გვიჩვენებს:

სამართლიანი რომ ვიყო, ამ სტატიაში პლაგიატის შემმოწმებლების შემოწმება არ გადავწყვიტე. მაგრამ მას შემდეგ, რაც მე ვიყენებ წყაროს მასალას, რომელიც ვიცი, რომ ჩემი არსებული სტატიიდან გამოვიყვანე, მივხვდი, რომ პლაგიატის შემოწმება ყველა მათგანს გააკრიტიკებდა, როგორც 100% პლაგიატი. ნებისმიერ შემთხვევაში, Originality.ai ძალიან კარგად გავაკეთეთ იმ ნაწილზე, რომელიც ჩვენ გამოვცადეთ, AI შემოწმება. ინსტრუმენტი იღებს ქულებს.  

QuillBot (სიზუსტე 80% ish)

არაფერია ადვილი. პირველად, როდესაც ჩემი პირველი ტესტი ჩავატარე QuillBot- ის საშუალებით, ნათქვამია, რომ ტექსტის 45% სავარაუდოდ გენერირებული იყო AI- ს მიერ. ნვ ბვქვ. ნაოთჟაჳ დჲ. მაგრამ შემდეგ, ყველა სხვა ტესტის დასრულების შემდეგ, მე დავბრუნდი QuillBot- ში, რომ ამ განყოფილების ეკრანის ანაბეჭდი ამოეთვისაწყო, იგივე ტექსტი გამომიკვლია, რამაც 45% ქულა გამოიმუშავა და, როგორც ქვემოთ ხედავთ, ის ახლა იუწყება 0% AI:

რა უნდა გავაკეთოთ ამ შედეგიდან? სამწუხაროდ, მე არ გადავიღო სკრინშოტი პირველად, როდესაც ეს ტექსტი გამოვცადე, მაგრამ ეს ხაზს უსვამს შეშფოთებას AI დეტექტორებზე ზედმეტი დაყრდნობის შესახებ, რომლებსაც ასევე საკმაოდ შეუძლიათ ჰალუცინაცია. 

გრამატიკული (სიზუსტე 40%)

Grammarly არის ცნობილი ინსტრუმენტი მწერლების გრამატიკულად სწორი შინაარსის წარმოებაში. ეს არ არის ის, რასაც ჩვენ ვამოწმებთ აქ. გრამატიკულად შეუძლია შეამოწმოს როგორც პლაგიატი, ასევე ხელოვნური ინტელექტის შინაარსი. თქვენ შეგიძლიათ ჩასვათ დოკუმენტი გრამატიკის ქვაში, ხოლო ქვედა მარჯვენა კუთხეში არის პლაგიატი და AI ტექსტის შემოწმების ღილაკი:

ამ ტესტში, ინსტრუმენტმა იპოვა არსებული ონლაინ დოკუმენტი, რომელიც შეესაბამებოდა ტექსტს, რომელიც მე ჩავწერე გრამატიკაში. ამ შედეგს აზრი აქვს, რადგან ეს არის სტატიის განახლება, რომელიც რამდენიმე წელია ონლაინ რეჟიმშია. მიუხედავად ამისა, ინსტრუმენტმა ასევე უპასუხა: "თქვენი დოკუმენტი არ შეიცავს ალ-გენერირებულ ტექსტს". თუმცა, ChatGPT გენერირებული მთელი სეგმენტი.

Undetectable.ai (სიზუსტე 100%)

Undetectable.ai- ს დიდი პრეტენზია დიდების შესახებ არის მისი "ჰუმანიზებული", რომელიც აპირებს AI- ის გენერირებული ტექსტის აღებას და საკმარისად ადამიანურად გამოიყურება, რომ AI დეტექტორები არ გამოავლენენ მას, როგორც რობოტის მიერ არის შექმნილი. ეს არის შესაძლებლობა, რომელიც მე არ გამოვცადე და რომელიც, სიმართლე გითხრათ, მაწუხებს ჩემი არსების გარკვეულ ღრმა ბირთვში. ეს შესაძლებლობა, როგორც ჩანს, ჩემთვის მოტყუება პროფესიონალი ავტორი და პედაგოგი.

ამასთან, კომპანიას ასევე აქვს AI დეტექტორი, რომელიც ძალიან ბევრი იყო.

AI დეტექტორმა გაიარა ყველა ტესტი, რომელსაც ჩვენ ვკვებავდით. ყურადღება მიაქციეთ ინდიკატორებს, რომლებიც აჩვენებს დროშებს სხვა შინაარსის დეტექტორებისთვის. კომპანიამ თქვა: "ჩვენ შევიმუშავეთ მრავალი დეტექტორის ალგორითმი, რომელიც მოდელირებულია იმ ძირითადი დეტექტორების შემდეგ, რათა უზრუნველყოს ფედერალური და კონსენსუსზე დაფუძნებული მიდგომა. ისინი პირდაპირ არ იკვებებიან ჩამოთვლილ მოდელებში, უფრო სწორად, მოდელები თითოეული გაწვრთნილია მათ მიერ წარმოქმნილი შედეგების საფუძველზე. როდესაც ის ამბობს, რომ ამ მოდელებმა ის დროშა დაადგა, ის ემყარება იმ ალგორითმს, რომელიც ჩვენ შევქმენით და განვაახლეთ ამ მოდელებისთვის.

ეს ალგორითმები არ არის სრულყოფილი, რადგან როდესაც მე იგივე ტექსტი გავუშვი GPTZero- ს საშუალებით, მან გამოაცხადა ტექსტი, როგორც 98% ადამიანი, რაც არ იმსახურებდა წითელი გამაფრთხილებელი ინდიკატორს.

ასეც რომ იყოს, დაუდგენელმა აღმოაჩინა ხუთივე ტესტი, რომელიც ჩვენ გავიარეთ, რამაც მიიღო სრულყოფილი 100% ქულა.

რაც შეეხება OpenAI-ს საკუთარ ChatGPT დეტექტორს?

ისე, OpenAI გასულ წელს გაიყვანა, რადგან დეტექტორი არ იყო განსაკუთრებით ზუსტი. აგვისტოს მდგომარეობით, ეს უნდა ყოფილიყო 99% ზუსტი. თუმცა, გათავისუფლების ნიშანი ჯერ კიდევ არ არის ოთხი თვის შემდეგ. მისი მოთხოვნილი სიზუსტის დონე ასევე ცოტა რთულია დასაჯერებელი, რადგან ChatGPT შორს არის 100% ზუსტი. 

მაგრამ, ნებისმიერ შემთხვევაში, როგორც ჩემი ZDNET მეგობარი სტივენ ვაგან-ნიკოლსი წერს, ის ჯერ არ არის ხელმისაწვდომი. ჩვენ მივცემთ ინსტრუმენტს ტრიალს, როდესაც ის გამოვა საზოგადოებრივი სარგებლობისთვის. Ადევნეთ თვალყური.

საბოლოო აზრები

პირველ რიგში, მე დავუშვებ ChatGPT- ს თქვას: AI-ზე ორიენტირებული პლაგიატი მზარდი პრობლემაა, რადგან AI ინსტრუმენტებს, როგორიცაა Notion AI და ChatGPT, შეუძლიათ შექმნან ტექსტი, რომლის გარჩევაც რთულია ადამიანების მიერ დაწერილისგან. არსებობს რამდენიმე გზა იმის დასადგენად, წარმოიქმნა თუ არა ტექსტის ნაჭერი AI- ით, მაგალითად, განმეორებადი ან უჩვეულო ნიმუშების ძებნა, ორიგინალობის ნაკლებობის შემოწმება, ან პლაგიატის შემმოწმებლის გამოყენება. პლაგიატის შემმოწმებლებს, როგორიცაა Turnitin, PlagScan და Copyleaks, შეიძლება შეეძლოთ ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლების დადგენა, მაგრამ ისინი არ არიან უგუნური.

ჩემი პოვნა სპეციალობის იარაღებიც კი საშინლად შეუფერებელი იყო ამ დავალების შესასრულებლად. იანვარში ჩემს ტესტებზე გარკვეული შეზღუდული გაუმჯობესება იყო. თუმცა, მე ნამდვილად არ ვიგრძნობდი თავს კომფორტულად, რაც საფრთხეს უქმნის სტუდენტის აკადემიურ მდგომარეობას ან ადანაშაულებს მათ მოტყუებაში ამ ინსტრუმენტების შედეგების საფუძველზე.

ამ ეტაპზე, მე არ ვფიქრობ, რომ ჩვენ მზად ვართ AI ბრძოლა AI. ამის ნაცვლად, ჩვენ უნდა დავეყრდნოთ ადამიანის აღქმას (რაც იმას ნიშნავს, რომ ხალხმა ყურადღება უნდა მიაქციოს) AI- ის მიერ წარმოქმნილი ნამუშევრების დასადგენად.

დაუყოვნებლივ არ ჩათვალოთ, რომ ტექსტი გენერირებულია, თუ ის სულელური ან ძალიან არაზუსტია. როგორც ყველამ ვიცით, ადამიანებს შეუძლიათ დაწერონ ცუდი რამ.

ასე რომ, რას ფიქრობთ? შეგიძლიათ გაიგოთ, არის თუ არა ნაჭერი AI-ის გენერირებული? გამოიყენეთ ეს AI წერის ინსტრუმენტები თვეებში, რადგან ისინი მოულოდნელად ხელმისაწვდომი გახდა? არიან თუ არა ისინი განათლებისა და ჟურნალისტიკის დახმარება თუ შეფერხება? შეგვატყობინეთ ქვემოთ მოცემულ კომენტარებში. აი, როგორ უპასუხა ChatGPT- მა ამას:

როგორც ენის მოდელი, მე ვერ ვხედავ ან ვურთიერთობ ფიზიკურ ნაწერებთან, ასე რომ ვერ გეტყვით, არის თუ არა ნაჭერი AI- ის გენერირებული თუ არა. ამასთან, შემიძლია გითხრათ, რომ არსებობს რამდენიმე AI წერის ინსტრუმენტი, რომლებიც ხელმისაწვდომია და მათი გამოყენება შესაძლებელია წერილობითი შინაარსის ფართო სპექტრის შესაქმნელად, მათ შორის ახალი ამბების სტატიები, მხატვრული ლიტერატურა, პოეზია და სხვა.

მე არ მაქვს პირადი გამოცდილება ამ ინსტრუმენტების გამოყენებით, რადგან მხოლოდ კომპიუტერული პროგრამა ვარ და არ მაქვს შესაძლებლობა დაათვალიეროს ინტერნეტი ან გამოიყენოს ფიზიკური ინსტრუმენტები. თუმცა, შემიძლია გითხრათ, რომ ზოგიერთმა ადამიანმა იპოვა AI წერის ინსტრუმენტები განათლებისა და ჟურნალისტიკის სასარგებლოდ, რადგან მათ შეუძლიათ დაზოგონ დრო და ძალისხმევა გარკვეული ამოცანების ავტომატიზაციით. სხვები შეშფოთებას გამოთქვამენ ამ ინსტრუმენტების გამოყენების პოტენციალის შესახებ შეცდომაში შემყვანი ან მიკერძოებული შინაარსის შესაქმნელად ან ადამიანის მწერლების შესაცვლელად. საბოლოო ჯამში, არის თუ არა AI წერის ინსტრუმენტები დახმარება ან შეფერხება, დამოკიდებულია იმაზე, თუ როგორ გამოიყენება ისინი და კონტექსტი, რომელშიც ისინი გამოიყენება.

ეა, თმა რჲგა.