როგორ გამოვიყენოთ AI კვლევისთვის სწორი გზით - პასუხისმგებლობით და ეფექტურად


შვიდი ხელოვნური ინტელექტის დეტექტორიდან ორმა, რომელიც მე გამოვცადე, სწორად ამოიცნობს ხელოვნური ინტელექტის გამომუშავებულ შინაარსს 100%-ით. ეს არის ნულიდან ჩემი ადრეული რაუნდების დროს, მაგრამ მცირდება ჩემი ტესტების ბოლო რაუნდიდან.

როდესაც პირველად გამოვიკვლიე, შესაძლებელია თუ არა ბრძოლა ხელოვნური ინტელექტის მიერ წარმოქმნილ პლაგიატთან და როგორ შეიძლება ამან იმუშაოს, ეს იყო 2023 წლის იანვარი, სულ რაღაც რამდენიმე თვის შემდეგ, რაც მსოფლიოში აფეთქებული ცნობიერება გენერაციული AI-ს შესახებ.

ეს არის 2023 წლის იანვრის ორიგინალური სტატიის განახლებული ვერსია. როდესაც პირველად გამოვტესტე GPT დეტექტორი, გამოვიყენე სამი: GPT-2 გამომავალი დეტექტორი (ეს არის განსხვავებული URL, ვიდრე ადრე გამოვაქვეყნეთ), Writer.com AI კონტენტის დეტექტორი და კონტენტი Scale AI Content Detection (რომელსაც, როგორც ჩანს, ახლა BrandWell ჰქვია. ).

საუკეთესო შედეგი იყო 66% სწორი GPT-2 გამომავალი დეტექტორიდან. მე კიდევ ერთი ტესტი გავაკეთე 2023 წლის ოქტომბერში და დავამატე კიდევ სამი: GPTZero, ZeroGPT (დიახ, ისინი განსხვავდებიან) და Writefull's GPT Detector. შემდეგ, 2024 წლის ზაფხულში, მიქსს დავამატე QuillBot და კომერციული სერვისი Originality.ai. ამჯერად, ასევე დავამატებ Grammarly-ის ბეტა შემოწმებას.

2023 წლის ოქტომბერში, მე ამოვშალე Writer.com AI Content Detector ჩვენი სატესტო კომპლექტიდან, რადგან ის ვერ მოხერხდა 2023 წლის იანვარში, ის კვლავ ჩაიშალა ოქტომბერში და ვერ მოხერხდა 2024 წლის ზაფხულში. თუმცა, როგორც ჩანს, ის მუშაობს, ამიტომ მე ვარ მათ შორის ტესტის კომპლექტში. იხილეთ ქვემოთ კომპანიის კომენტარი, რომელიც მათმა გუნდმა გამომიგზავნა იანვარში ორიგინალური სტატიის გამოქვეყნების შემდეგ.

მე ხელახლა ჩავატარე ყველა ტესტი, რათა ვნახო, როგორ მუშაობენ დეტექტორები დღეს. მიუხედავად იმისა, რომ მე მქონდა ორი ძლიერი წარმატება, როგორც ჩანს, ყველაზე მნიშვნელოვანი ის არის, თუ რამდენად არათანმიმდევრულია შედეგები ერთი AI შემმოწმებლიდან მეორეზე.

რისთვის ვამოწმებ და როგორ ვაკეთებ ამას

თუმცა, სანამ გავაგრძელებ, უნდა განვიხილოთ პლაგიატი და როგორ უკავშირდება ის ჩვენს პრობლემას. Merriam-Webster-ი განმარტავს „პლაგიატს“ როგორც „მოპარვას და (სხვისი იდეების ან სიტყვების) საკუთარებად გადაცემას; (სხვისი ნაწარმოების) გამოყენებას წყაროს დაკრედიტების გარეშე“.

ეს განმარტება კარგად ერგება AI-ით შექმნილ შინაარსს. მიუხედავად იმისა, რომ ადამიანი, რომელიც იყენებს ხელოვნური ინტელექტის ინსტრუმენტს, როგორიცაა Notion AI ან ChatGPT, არ იპარავს კონტენტს, თუ ეს ადამიანი არ მიიჩნევს სიტყვებს, როგორც AI-დან მომდინარე და ამტკიცებს მათ, როგორც საკუთარს, ის მაინც აკმაყოფილებს პლაგიატის ლექსიკონის განმარტებას.

ამ ექსპერიმენტულ სტატიაში მე ვთხოვე ChatGPT-ს დახმარება. ჩემი სიტყვები ნორმალური და თამამი ტექსტია. AI-ის სიტყვები დახრილია. ხელოვნური ინტელექტის მიერ გენერირებული ყოველი განყოფილების შემდეგ, მე ვაჩვენებ დეტექტორების შედეგებს. სტატიის ბოლოს ჩვენ შევხედავთ, რამდენად კარგად მუშაობდნენ დეტექტორები მთლიანობაში.

აქ მოცემულია ზემოთ მოყვანილი ტექსტის ტესტის შედეგები, რომელიც მე თვითონ დავწერე:

  • GPT-2 გამომავალი დეტექტორი: 99,98% რეალური
  • Writer.com: 95% ადამიანის მიერ შექმნილი კონტენტი
  • BrandWell AI კონტენტის ამოცნობა: გადის როგორც ადამიანი
  • GPTZero: 98% ადამიანი
  • ZeroGPT: 22% AI GPT თქვენი ტექსტი, სავარაუდოდ, ადამიანის მიერ არის დაწერილი
  • წერილობითი GPT დეტექტორი: 1% სავარაუდოდ ეს მოდის GPT-3, GPT-4 ან ChatGPT-დან
  • Originality.ai: ჩვენ 99%-ით ვართ დარწმუნებული, რომ ტექსტი ორიგინალია
  • QuillBot: ტექსტის 42% სავარაუდოდ ხელოვნური ინტელექტის გენერირებულია
  • გრამატიკული: ჩვენ არ აღმოვაჩინეთ AI ტექსტის ჩვეულებრივი ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ით გენერირებულ ტექსტს.

ადამიანის მიერ დაწერილი კონტენტი: 9-დან 7-დან (77%) სწორია
ბოლო დრო: 7-დან 5-დან (71%) სწორია

სანამ გადავიდოდეთ, განვიხილოთ ის, რასაც მე მივიჩნევ "სწორ" ანალიზად. თუ ქულა რიცხვითია, 80%-ზე მეტი ნებისმიერი რამ ჩაითვლება სწორ ანალიზად და ეს დიდსულოვანია. თუ ქულას შეჯამება აქვს, შეჯამებას გადავხედავ და განვსჯი.

ამასთან, მოდი კიდევ ჩავუღრმავდეთ.

აუხსენით რატომ შეიძლება იყოს ChatGPT რეალური პრობლემა მასწავლებლებისთვის და რედაქტორებისთვის, როდესაც საქმე ეხება პლაგიატს

ChatGPT is a variant of the GPT (Generative Pre-trained Transformer) language model developed by OpenAI. It is designed to generate human-like text by predicting the next word or phrase in a given input sequence. While ChatGPT can be a useful tool for generating text and responding to prompts, it can also be a problem for teachers and editors when it comes to plagiarism.
One of the main reasons why ChatGPT can be a problem for teachers and editors is that it can generate text that is very similar to that of real human writers. This means that students or other individuals could potentially use ChatGPT to generate text that they could then submit as their own work, thereby committing plagiarism.
For teachers and editors, detecting whether a given piece of text was generated by ChatGPT or written by a human can be very difficult, as the generated text may not contain any obvious errors or discrepancies that would reveal its artificial origin. This can make it difficult for teachers and editors to identify and prevent plagiarism, as they may not be able to tell whether a given piece of text is original or copied from another source.
Overall, ChatGPT and other similar language models can be a problem for teachers and editors when it comes to plagiarism because they can generate text that is difficult to distinguish from that written by humans, making it easier for students and other individuals to commit plagiarism without being detected.
  • GPT-2 გამომავალი დეტექტორი: 99,69% რეალური
  • Writer.com: 77% ადამიანის მიერ გენერირებული კონტენტი
  • BrandWell AI კონტენტის ამოცნობა: ძნელი სათქმელია
  • GPTZero: 100% AI
  • ZeroGPT: 100% AI
  • Writeful GPT Detector: 12% სავარაუდოა, რომ ეს მოდის GPT-3, GPT-4 ან ChatGPT.
  • Originality.ai: 100% AI
  • QuillBot: 83% სავარაუდო AI
  • გრამატიკული: ჩვენ არ აღმოვაჩინეთ AI ტექსტის ჩვეულებრივი ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ით გენერირებულ ტექსტს

AI-ით დაწერილი კონტენტი: 4-დან 9-დან (44%) სწორია
ბოლო დრო: 4-დან 7-დან (57%) სწორია

დაიმახსოვრეთ, დახრილი ასოებით ნაჩვენები ტექსტი გენერირებულია AI-ს მიერ.

მაჩვენე მინიმუმ სამი გზა, რომ შემეძლოს აღმოვაჩინო ChatGPT გამოყენებული იყო ტექსტის დასამზადებლად

There are several ways that you can potentially detect whether ChatGPT or another language model was used to produce a piece of text. Here are three potential approaches you could use:
  1. ტექსტში მოძებნეთ განმეორებადი ან უჩვეულო შაბლონები: ერთი გზა იმის დასადგენად, გამოიყენეს თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად, არის ნაწერში განმეორებადი ან უჩვეულო შაბლონების ძიება. მაგალითად, ენის მოდელებმა შეიძლება გაიმეორონ გარკვეული ფრაზები ან სიტყვების კომბინაციები, ან გამოიყენონ უჩვეულო ან არათანმიმდევრული წინადადებების სტრუქტურები.
  2. შეამოწმეთ ორიგინალობის ნაკლებობა: კიდევ ერთი გზა იმის დასადგენად, იყო თუ არა ენის მოდელი გამოყენებული ტექსტის გენერირებისთვის, არის ნაწერში ორიგინალობის ნაკლებობის შემოწმება. თუ ტექსტის ნაწილი კოპირებულია სხვა წყაროდან, ან თუ ის შეიცავს ინფორმაციას, რომელიც ფართოდ არის ხელმისაწვდომი ინტერნეტში ან სხვა წყაროებში, ეს შეიძლება იყოს ნიშანი იმისა, რომ იგი შეიქმნა ენის მოდელის მიერ.
  3. გამოიყენეთ პლაგიატის შემმოწმებელი: და ბოლოს, შეგიძლიათ გამოიყენოთ პლაგიატის შემმოწმებელი, რათა შეამოწმოთ არის თუ არა ტექსტის ნაწილი კოპირებული სხვა წყაროდან. მიუხედავად იმისა, რომ პლაგიატის შემმოწმებელმა შეიძლება ვერ შეძლოს საბოლოოდ განსაზღვროს, გამოიყენეს თუ არა ენის მოდელი ტექსტის ნაწილის შესაქმნელად, ის დაგეხმარებათ სხვა წყაროებიდან კოპირების ან პერიფრაზირების შემთხვევების იდენტიფიცირებაში.
  4. გაითვალისწინეთ, როდესაც პასუხი აშკარად მცდარია: მე ვისაუბრე ამის შესახებ ჩემს Notion AI მიმოხილვაში, სადაც ყურადღება გავამახვილე ზოგიერთ ტექსტზე, რომელიც AI დაწერა ერთი შეხედვით ავტორიტეტით, მაგრამ რომელიც აშკარად არასწორი იყო. თუ სტუდენტი ან მწერალი სრულად არ ფლობს განხილულ თემას, მათ შეიძლება ვერ შეამჩნიონ უზუსტობები და დატოვონ ისინი ხელოვნური ინტელექტის გამომუშავებულ პასუხში. რა თქმა უნდა, არასწორი განცხადებები არ არის მხოლოდ ხელოვნური ინტელექტის ჩაწერის ინსტრუმენტის უფლება. ბევრი ბლოგერი და კომენტატორი, მაგალითად, იმეორებს სხვა ბლოგერების მიერ გაკეთებულ განცხადებებს, ქმნიან სრულიად „ცრუ ფაქტების ექო პალატას“, რაც აჩვენებს, რომ მიუხედავად იმისა, რომ ინტელექტი შეიძლება იყოს ხელოვნური, სისულელე უნივერსალური თვისებაა.
Keep in mind that it can be difficult to definitively determine whether a language model was used to generate a piece of text, and these methods may not always be effective. However, they can be useful tools to help you identify potential instances of language model-generated text.

ტესტების ამ ნაკრებში მხოლოდ ზემოთ დახრილი კონტენტი იყო გაშვებული Checker Suite-ში.

  • GPT-2 გამომავალი დეტექტორი: 99,98% ყალბი
  • Writer.com: 73% ადამიანის მიერ გენერირებული კონტენტი
  • BrandWell AI კონტენტის ამოცნობა: გადის როგორც ადამიანი
  • GPTZero: 100% AI
  • ZeroGPT: 96,99% AI გენერირებულია
  • Writeful GPT Detector: 79% სავარაუდოა, რომ ეს მოდის GPT-3, GPT-4 ან ChatGPT.
  • Originality.ai: 100% AI
  • QuillBot: 100% AI
  • გრამატიკული: ჩვენ არ აღმოვაჩინეთ AI ტექსტის ჩვეულებრივი ნიმუშები. როგორც ჩანს, თქვენი დოკუმენტი არ შეიცავს AI-ით გენერირებულ ტექსტს

AI-ით დაწერილი კონტენტი: 5-დან 9-დან (55%) სწორია
ბოლო დრო: 5-დან 7-დან (71%) სწორია

ჩამოთვალეთ სამი პლაგიატის შემმოწმებელი, რომლებსაც შეუძლიათ ChatGPT ტექსტის ამოცნობა

It is worth noting that there is currently no plagiarism checker that is specifically designed to detect text generated by ChatGPT or other language models. While some plagiarism checkers may be able to identify certain characteristics of language model-generated text that could indicate its artificial origin, there is no guarantee that they will be able to definitively determine whether a piece of text was generated by a language model.
With that said, here are three plagiarism checkers that you might consider using to help identify potential instances of language model-generated text:
  1. Turnitin: Turnitin არის პოპულარული პლაგიატის შემმოწმებელი, რომელსაც ფართოდ იყენებენ სკოლები და უნივერსიტეტები. იგი ადარებს ტექსტის ნაწილს სხვა ტექსტების მონაცემთა ბაზას, რათა დაადგინოს კოპირების ან პერიფრაზირების შემთხვევები. მიუხედავად იმისა, რომ მას არ შეუძლია საბოლოოდ განსაზღვროს, იყო თუ არა ტექსტის ნაწილი ენის მოდელის მიერ გენერირებული, მას შეუძლია პოტენციურად განსაზღვროს ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლები, რაც შეიძლება მიუთითებდეს მის ხელოვნურ წარმოშობაზე.
  2. PlagScan: PlagScan არის კიდევ ერთი პლაგიატის შემმოწმებელი, რომელიც ადარებს ტექსტის ნაწილს სხვა ტექსტების მონაცემთა ბაზას, რათა დაადგინოს კოპირების ან პერიფრაზირების შემთხვევები. Turnitin-ის მსგავსად, მას შეუძლია განსაზღვროს ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლები, რომლებიც შეიძლება მიუთითებდეს მის ხელოვნურ წარმოშობაზე, მაგრამ ის არ არის სპეციალურად შექმნილი ენის მოდელის გენერირებული ტექსტის გამოსავლენად.
  3. Copyleaks: Copyleaks არის პლაგიატის შემმოწმებელი, რომელიც იყენებს მანქანური სწავლების გაფართოებულ ალგორითმებს ტექსტის ნაწილის სკანირებისთვის და სხვა ტექსტების მონაცემთა ბაზასთან შესადარებლად კოპირების ან პერიფრაზირების შემთხვევების დასადგენად. მიუხედავად იმისა, რომ მას შეუძლია განსაზღვროს ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლები, ის სპეციალურად არ არის შექმნილი ენის მოდელის გენერირებული ტექსტის გამოსავლენად.
It is worth noting that no plagiarism checker is completely foolproof, and there is always the possibility that a piece of language model-generated text could escape detection. Therefore, it is important to use plagiarism checkers as just one part of a larger strategy to detect and prevent plagiarism.
  • GPT-2 გამომავალი დეტექტორი: 99,58% რეალური
  • Writer.com: 74% ადამიანის მიერ გენერირებული კონტენტი
  • BrandWell AI კონტენტის ამოცნობა: გადის როგორც ადამიანი
  • GPTZero: 100% AI
  • ZeroGPT: 100% AI
  • Writeful GPT დეტექტორი: 87% სავარაუდოდ ეს მოდის GPT-3, GPT-4 ან ChatGPT.
  • Originality.ai: 100% AI
  • QuillBot: 100% AI-ით გენერირებული
  • გრამატიკული: არ არის გამოვლენილი პლაგიატი ან AI ტექსტი

AI-ით დაწერილი კონტენტი: 5-დან 9-დან (55%) სწორია
ბოლო დრო: 5-დან 7-დან (71%) სწორია

ონლაინ AI პლაგიატის შემოწმება

პლაგიატის დეტექტორების უმეტესობა გამოიყენება ნაწერის შესადარებლად სხვა ნაწერების კორპუსთან. მაგალითად, როდესაც სტუდენტი აგზავნის ესსეს, პროდუქტი, როგორიცაა Turnitin, ასკანირებს წარდგენილ ნარკვევს ესეების უზარმაზარ ბიბლიოთეკაში მის მონაცემთა ბაზაში და სხვა დოკუმენტებსა და ტექსტს ინტერნეტში, რათა დაადგინოს, შეიცავს თუ არა წარმოდგენილი ესე უკვე დაწერილ შინაარსს.

თუმცა, ხელოვნური ინტელექტის ჩაწერის ხელსაწყოები წარმოქმნის ორიგინალურ შინაარსს, ყოველ შემთხვევაში თეორიულად. დიახ, ისინი ქმნიან თავიანთ შინაარსს იმის მიხედვით, რაზეც ისწავლეს, მაგრამ სიტყვები, რომლებსაც ისინი ქმნიან, გარკვეულწილად უნიკალურია თითოეული კომპოზიციისთვის.

როგორც ასეთი, ზემოთ ნახსენები პლაგიატის შემმოწმებლები, ალბათ, არ იმუშავებს, რადგან ხელოვნური ინტელექტის მიერ გენერირებული კონტენტი ალბათ არ არსებობდა, ვთქვათ, სხვა სტუდენტის ნაშრომში.

ამ სტატიაში ჩვენ უბრალოდ ვუყურებთ GPT დეტექტორებს. მაგრამ პლაგიატი დიდი პრობლემაა და, როგორც ვნახეთ, ზოგი ირჩევს პლაგიატს განსაზღვროს, როგორც ის, რასაც თქვენ ამტკიცებთ, როგორც თქვენი, რაც თქვენ არ დაგიწერიათ, ზოგი კი ირჩევს პლაგიატის განსაზღვრას, როგორც სხვის მიერ დაწერილ ნივთს, რომელიც თქვენ ამტკიცებთ, რომ თქვენია.

ეს განსხვავება აქამდე არასდროს ყოფილა პრობლემა. ახლა, როდესაც ჩვენ გვყავს არაადამიანური მწერლები, პლაგიატის განსხვავება უფრო ნიუანსებულია. თითოეულმა მასწავლებელმა, სკოლამ, რედაქტორმა და დაწესებულებამ უნდა გადაწყვიტოს ზუსტად სად არის ეს ხაზი გავლებული.

  • GPT-2 გამომავალი დეტექტორი: 99,56% რეალური
  • Writer.com: 98% ადამიანის მიერ გენერირებული კონტენტი
  • BrandWell AI კონტენტის ამოცნობა: გადის როგორც ადამიანი
  • GPTZero: 98% ადამიანი
  • ZeroGPT: 16,82% AI - თქვენი ტექსტი ადამიანის მიერ არის დაწერილი
  • წერილობითი GPT დეტექტორი: 7% სავარაუდოა, რომ ეს მოდის GPT-3, GPT-4 ან ChatGPT.
  • Originality.ai: 100% ორიგინალი
  • QuillBot: 0% AI
  • გრამატიკული: არ არის გამოვლენილი პლაგიატი ან AI ტექსტი

AI-ით დაწერილი კონტენტი: 9-დან 9 (100%) სწორია
ბოლო დრო: 7-დან 7 (100%) სწორია

საერთო შედეგები

საერთო ჯამში, შედეგები შემცირდა ტესტების ბოლო რაუნდთან შედარებით. იმ დროს სამი სერვისი გვქონდა შესანიშნავი ქულით. ეს უკვე ორამდეა, რადგან ZeroGPT, ერთ-ერთმა ჩვენმა მაშინდელმა საუკეთესო ქულების მქონე მოთამაშემ, ჩააბარა ტესტი, რომელიც მანამდე წარმატებით გაიარა. ჩვენ მიერ დამატებული ორი ახალი დეტექტორი, Writer.com და Grammarly, არ გააუმჯობესა ქულა. ფაქტობრივად, ორივე ზოგადად წარუმატებელი იყო.

Test

Overall

Human

AI

AI

AI

Human

GPT-2 Output Detector

60%

Correct

Fail

Correct

Fail

Correct

Writer.com

40%

Correct

Fail

Fail

Fail

Correct

BrandWell AI Detector

40%

Correct

Fail

Fail

Fail

Correct

GPTZero

100%

Correct

Correct

Correct

Correct

Correct

ZeroGPT

80%

Fail

Correct

Correct

Correct

Correct

Writefull GPT Detector

60%

Correct

Fail

Fail

Correct

Correct

Originality.ai

100%

Correct

Correct

Correct

Correct

Correct

QuillBot

80%

Fail

Correct

Correct

Correct

Correct

Grammarly

40%

Correct

Fail

Fail

Fail

Correct

მიუხედავად იმისა, რომ საერთო შედეგები გაუმჯობესდა, მე არ ვიქნები კომფორტულად დავეყრდნო მხოლოდ ამ ინსტრუმენტებს სტუდენტის შინაარსის დასადასტურებლად. როგორც აჩვენა, წერილები, რომლებიც მშობლიურ ენაზე არ საუბრობენ, ხშირად ფასდება, როგორც ხელოვნური ინტელექტის მიერ გენერირებული, და მიუხედავად იმისა, რომ ჩემი ხელნაკეთი კონტენტი აღარ არის შეფასებული, როგორც AI, იყო რამდენიმე აბზაცი, რომელიც მონიშნულია ტესტერების მიერ, როგორც შესაძლოა AI-ზე დაფუძნებული. . თქვენ ასევე შეგიძლიათ ნახოთ, თუ როგორ არის შედეგები სასტიკად არათანმიმდევრული ტესტირების სისტემებს შორის. ასე რომ, მე ვიქნები მომხრე სიფრთხილით, სანამ დავეყრდნობით რომელიმე ამ ხელსაწყოს (ან ყველა) შედეგებს.

მოდით გადავხედოთ ცალკეულ ტესტერებს და ვნახოთ, როგორ მუშაობს თითოეული.

GPT-2 გამომავალი დეტექტორი (სიზუსტე 60%)

ეს პირველი ინსტრუმენტი აშენდა მანქანური სწავლების ცენტრის გამოყენებით, რომელსაც მართავს ნიუ-იორკში დაფუძნებული AI კომპანია Hugging Face. მიუხედავად იმისა, რომ კომპანიამ მიიღო $40 მილიონი დაფინანსება ბუნებრივი ენების ბიბლიოთეკის გასავითარებლად, GPT-2 დეტექტორი, როგორც ჩანს, მომხმარებლის მიერ შექმნილი ინსტრუმენტია Hugging Face Transformers ბიბლიოთეკის გამოყენებით. ხუთი ტესტიდან, რომელიც მე ჩავატარე, სამში დეტექტორი ზუსტი იყო.

Writer.com AI კონტენტის დეტექტორი (სიზუსტე N/A)

Writer.com არის სერვისი, რომელიც წარმოქმნის AI წერას, ორიენტირებული კორპორატიულ გუნდებზე. მისი AI Content Detector ხელსაწყოს შეუძლია გენერირებული შინაარსის სკანირება. მე ეს ინსტრუმენტი არასანდო აღმოვაჩინე. მიუხედავად იმისა, რომ მან ადრე ვერ გამოიმუშავა შედეგები, ის ამჯერად გაიქცა. სამწუხაროდ, მისი სიზუსტე საკმაოდ დაბალი იყო. მან არსებითად განსაზღვრა ტექსტის თითოეული ბლოკი, როგორც ადამიანის მიერ დაწერილი, სადაც ექვსი ტესტიდან სამი დაწერილი იყო ChatGPT-ის მიერ.

მას შემდეგ, რაც ეს სტატია თავდაპირველად გამოქვეყნდა იანვარში, Writer.com-ის ხალხმა დაუკავშირდა ZDNET-ს. აღმასრულებელმა დირექტორმა მეი ჰაბიბმა ასეთი კომენტარი გააკეთა:

AI დეტექტორზე მოთხოვნა გაიზარდა. ტრაფიკი კვირაში 2-3-ჯერ გაიზარდა მას შემდეგ, რაც ის რამდენიმე თვის წინ დავიწყეთ. ჩვენ ახლა მივიღეთ საჭირო სკალირება მის უკან, რათა დავრწმუნდეთ, რომ ის არ დაიწევს, და ჩვენი მიზანია შევინარჩუნოთ იგი თავისუფალი - და განახლებული, რათა დავიჭიროთ უახლესი მოდელების შედეგები, მათ შორის ჩვენი. თუ ხელოვნური ინტელექტის გამომავალი სიტყვასიტყვით იქნება გამოყენებული, ის აუცილებლად უნდა მიეწეროს.

BrandWell AI კონტენტის ამოცნობა (სიზუსტე 40%)

მესამე ინსტრუმენტი, რომელიც აღმოვაჩინე, თავდაპირველად აწარმოებდა ხელოვნური ინტელექტის კონტენტის გენერირების ფირმას, Content at Scale. შემდგომში, ინსტრუმენტი გადავიდა Brandwell.ai-ზე, რომელიც, როგორც ჩანს, ახალი სახელია იმ კომპანიისთვის, რომელიც ახლა არის AI-ზე ორიენტირებული მარკეტინგული სერვისების კომპანია.

სამწუხაროდ, სიზუსტე საკმაოდ დაბალი იყო. ინსტრუმენტმა ამოიცნო ხელოვნური ინტელექტის მთელი შინაარსი, როგორც ადამიანი, როგორც ამ ეკრანის სურათში:

ეს ტექსტი მთლიანად დაწერილია ChatGPT-ის მიერ.

GPTZero (სიზუსტე 100%)

ბოლომდე არ არის ნათელი, თუ რა მართავს GPTZero. კომპანია ქირაობს ინჟინრებს და გაყიდვების ადამიანებს და მუშაობს AWS-ზე, ამიტომ არის ხარჯები და გაყიდვები. თუმცა, ყველაფერი, რაც მე ვიპოვე სერვისის შეთავაზებაზე, იყო ადგილი, სადაც შეგეძლოთ დარეგისტრირდეთ უფასო ანგარიშზე, რათა დაასკანიროთ 5000-ზე მეტი სიტყვა შესვლის გარეშე. თუ თქვენ დაინტერესებული ხართ ამ სერვისით GPT გამოვლენისთვის, უნდა ნახოთ, გიპასუხებენ თუ არა უფრო დეტალურად. სიზუსტე გაიზარდა მას შემდეგ, რაც პირველად ჩავატარე ტესტები და დავრჩი 100%-ზე ამ რაუნდისთვის.

ZeroGPT (სიზუსტე 80%)

ZeroGPT, როგორც ჩანს, მომწიფდა, როგორც სერვისი მას შემდეგ, რაც ჩვენ მას ბოლოს ვუყურებდით. როდესაც ბოლო ვნახეთ, კომპანიის სახელი არ იყო ჩამოთვლილი და საიტი იყო გაჯერებული Google-ის რეკლამებით, მონეტიზაციის აშკარა სტრატეგიის გარეშე. სერვისი საკმაოდ კარგად მუშაობდა, მაგრამ ესკიზურად ჩანდა.

ეს ესკიზური განცდა ახლა გაქრა. ZeroGPT წარმოგიდგენთ როგორც სხვა SaaS სერვისს, სრულფასოვანი, კომპანიის სახელი, საკონტაქტო ინფორმაცია და ყველა დანარჩენი. ის ჯერ კიდევ საკმაოდ კარგად მუშაობს, ამიტომ შესაძლოა დეველოპერებმა გადაწყვიტეს თავიანთი სამუშაო კოდი უფრო მოქმედ ბიზნესად გადაექციათ. თუმცა სიზუსტე დაეცა. მან არასწორად წაიკითხა ადამიანის მიერ დაწერილი ტესტი, როგორც AI.

ჩაწერილი GPT დეტექტორი (სიზუსტე 60%)

Writefful ყიდის წერის მხარდაჭერის სერვისებს, ისევე როგორც მისი ხელსაწყოების უფასო გემოვნებას. GPT დეტექტორი საკმაოდ ახალია და საკმაოდ კარგად მუშაობდა. თუმცა, ინსტრუმენტს ჰქონდა გარკვეული აღმავლობა და ვარდნა ჩვენს ტესტებში. ის გაუმჯობესდა 60%-დან 80%-მდე, მაგრამ ამჯერად ისევ 60%-მდე დაეცა.

Originality.ai (სიზუსტე 100%, ერთგვარი)

Originality.ai არის კომერციული სერვისი, რომელიც ასახავს როგორც ხელოვნური ინტელექტის შემმოწმებელს, ასევე პლაგიატის შემმოწმებელს. კომპანია ყიდის თავის მომსახურებას გამოყენების კრედიტების საფუძველზე. წარმოდგენა რომ მოგცეთ, ყველა სკანირება, რომელიც მე გავაკეთე ამ სტატიისთვის, გამოიყენა 30 გამოყენების კრედიტი. კომპანია ყიდის 2000 კრედიტს თვეში 12,95 დოლარად. დაახლოებით 1400 სიტყვა გადავიტანე სისტემის მეშვეობით და გამოვიყენე ყოველთვიური გამოყოფის მხოლოდ 1.5%.

შედეგები შესანიშნავი იყო ხელოვნური ინტელექტის შემმოწმებლისთვის, მაგრამ ინსტრუმენტი ხუთჯერ სამჯერ ვერ მოხერხდა სერვისის პლაგიატის შემმოწმებლად გამოყენებისას. შემდეგი სკრინშოტი აცხადებს, რომ ჩასმული ტექსტი 0% პლაგიატია:

ეს არასწორია, რადგან ინსტრუმენტში ჩასმული მთელი ტექსტი იყო ამ სტატიიდან, რომელიც გამოქვეყნდა ონლაინ ორი წლის განმავლობაში. მე ვფიქრობდი, რომ პლაგიატის სკანერმა ვერ წაიკითხა ZDNET შინაარსი, მაგრამ ეს ასე არ არის, როგორც ეს სკრინშოტი აჩვენებს:

სამართლიანობისთვის, ამ სტატიაში პლაგიატის ქამრების შემოწმებას არ ვაპირებდი. მაგრამ რადგან ვიყენებ წყაროს მასალას, ვიცი, რომ ჩემი არსებული სტატიიდან ამოვიღე, მივხვდი, რომ პლაგიატის შემმოწმებელი ყველა მათგანს 100%-ით პლაგიატად თვლიდა. ნებისმიერ შემთხვევაში, Originality.ai-მ ძალიან კარგად გამოსცა ის ნაწილი, რომლის გამოცდას შევუდექით, ხელოვნური ინტელექტის შემმოწმებელი. ინსტრუმენტი ამისთვის იღებს ქულებს.

QuillBot (სიზუსტე 80%-იანი)

არასოდეს არაფერია ადვილი. პირველად რომ ჩავატარე ჩემი პირველი ტესტი QuillBot-ის საშუალებით, მან თქვა, რომ ტექსტის 45% სავარაუდოდ AI-ს მიერ იყო გენერირებული. ეს არ იყო. მე დავწერე. მაგრამ შემდეგ, ყველა სხვა ტესტის დასრულების შემდეგ, დავბრუნდი QuillBot-ში, რომ ამ განყოფილების სკრინშოტი გადამეღო, მივაწოდე იგივე ტექსტი, რომელმაც გამოიმუშავა 45% ქულა და, როგორც ხედავთ, ის ახლა იტყობინება 0% AI-ს.

მაშ, რა უნდა გავაკეთოთ ამ შედეგზე? სამწუხაროდ, მე არ ავიღე სკრინშოტი, როდესაც პირველად გამოვცადე ეს ტექსტი, მაგრამ ის ხაზს უსვამს შეშფოთებას AI დეტექტორებზე ზედმეტად დაყრდნობით, რადგან მათ ასევე აქვთ ჰალუცინაციები.

გრამატიკული (სიზუსტე 40%)

Grammarly არის ცნობილი ინსტრუმენტი, რომელიც ეხმარება მწერლებს გრამატიკულად სწორი შინაარსის წარმოებაში. ეს არ არის ის, რასაც ჩვენ აქ ვამოწმებთ. Grammarly-ს შეუძლია შეამოწმოს როგორც პლაგიატი, ასევე AI შინაარსი. თქვენ შეგიძლიათ ჩასვათ დოკუმენტი მათ გრამატიკულ შემოწმებაში, ხოლო ქვედა მარჯვენა კუთხეში არის პლაგიატის და AI ტექსტის შემოწმების ღილაკი.

ამ ტესტში ინსტრუმენტმა იპოვა არსებული ონლაინ დოკუმენტი, რომელიც ემთხვეოდა იმას, რაც მე ჩასვეს. ეს შედეგი ლოგიკურია, რადგან ეს არის რამდენიმე წლის განმავლობაში არსებული სტატიის განახლება. მაგრამ ის, რაც არ არის სწორი, არის განცხადება, რომ "თქვენი დოკუმენტი, როგორც ჩანს, არ შეიცავს ალ-გენერირებულ ტექსტს", რადგან მთელი სეგმენტი გენერირებული იყო ChatGPT-ის მიერ.

რაც შეეხება OpenAI-ს საკუთარ ChatGPT დეტექტორს?

ისე, OpenAI-მ ის გასულ წელს გამოიყვანა, რადგან დეტექტორი განსაკუთრებით ზუსტი არ იყო. აგვისტოს მდგომარეობით, ის 99%-ით ზუსტი უნდა ყოფილიყო, მაგრამ ოთხი თვის შემდეგ გამოშვების ნიშანი ჯერ კიდევ არ არის. მისი პრეტენზიული სიზუსტის დონე ასევე ცოტა რთული დასაჯერებელია, რადგან თავად ChatGPT შორს არის 100% სიზუსტისგან.

მაგრამ, ყოველ შემთხვევაში, როგორც ჩემი ZDNET-ის მეგობარი სტივენ ვონ-ნიკოლსი წერს, ის ჯერ არ არის ხელმისაწვდომი. ჩვენ ინსტრუმენტს მივაქცევთ დატრიალებას, როდესაც ის გამოვა საჯარო გამოყენებისთვის. თვალყური ადევნეთ.

საბოლოო აზრები

პირველ რიგში, მე მივცემ უფლებას ChatGPT-ს თქვას: AI-ზე ორიენტირებული პლაგიატი მზარდი პრობლემაა, რადგან AI ინსტრუმენტებს, როგორიცაა Notion AI და ChatGPT, შეუძლიათ შექმნან ტექსტი, რომელიც ძნელია განასხვავოს ადამიანების მიერ დაწერილისგან. არსებობს რამდენიმე გზა იმის დასადგენად, არის თუ არა ტექსტის ნაჭერი გენერირებული ხელოვნური ინტელექტის მიერ, როგორიცაა განმეორებადი ან უჩვეულო შაბლონების ძიება, ორიგინალობის ნაკლებობის შემოწმება ან პლაგიატის შემმოწმებლის გამოყენება. პლაგიატის შემმოწმებლებმა, როგორიცაა Turnitin, PlagScan და Copyleaks, შესაძლოა შეძლონ ენის მოდელის გენერირებული ტექსტის გარკვეული მახასიათებლების იდენტიფიცირება, მაგრამ ისინი არ არიან უტყუარი.

სპეციალიზებული ხელსაწყოებიც კი, რომლებიც მე ვიპოვე, საშინლად შეუფერებელი იყო ამ ამოცანისთვის. იანვარში ჩემს ტესტებთან შედარებით შეზღუდული გაუმჯობესება იყო. თუმცა, რა თქმა უნდა, თავს კომფორტულად ვერ ვგრძნობდი, რომ დაემუქრებინა სტუდენტის აკადემიური მოსწრება ან დავადანაშაულო მათ თაღლითობაში ამ ინსტრუმენტების შედეგების საფუძველზე.

ამ ეტაპზე, მე არ ვფიქრობ, რომ ჩვენ მზად ვართ მივცეთ საშუალება AI-ს ებრძოლოს AI-ს. ამის ნაცვლად, ჩვენ უნდა დავეყრდნოთ ადამიანის აღქმას (რაც იმას ნიშნავს, რომ ხალხს ყურადღება უნდა მიაქციოს) ხელოვნური ინტელექტის მიერ წარმოქმნილი ნამუშევრების იდენტიფიცირებისთვის.

დაუყოვნებლივ ნუ იფიქრებთ, რომ რაღაც მანქანით არის შექმნილი. მხოლოდ იმიტომ, რომ რაღაც სისულელეა, ან უკიდურესად არაზუსტი, არ ნიშნავს რომ ის არ არის დაწერილი ადამიანის მიერ. როგორც ყველამ ვიცით, ადამიანებს შეუძლიათ დამოუკიდებლად დაწერონ ცუდი რაღაცეები.

მაშ, რას ფიქრობთ? შეგიძლიათ თქვათ, არის თუ არა ცალი ხელოვნური ინტელექტის გენერირებული? იყენებდით თუ არა ხელოვნური ინტელექტის ჩაწერის ამ ხელსაწყოებს რამდენიმე თვეში, რაც ისინი მოულოდნელად გახდა ხელმისაწვდომი? როგორ ფიქრობთ, ისინი დახმარებას ან შემაფერხებელს წარმოადგენს განათლებისა და ჟურნალისტიკისთვის? შეგვატყობინეთ ქვემოთ მოცემულ კომენტარებში. აი, როგორ უპასუხა ამას ChatGPT:

As a language model, I can't see or interact with physical pieces of writing, so I can't tell if a piece is AI-generated or not. However, I can tell you that there are several AI writing tools that are available, and they can be used to generate a wide range of written content, including news articles, fiction, poetry, and more.
I don't have personal experience using these tools since I am just a computer program and don't have the ability to browse the internet or use physical tools. However, I can tell you that some people have found AI writing tools to be helpful in education and journalism, as they can save time and effort by automating certain tasks. Others have expressed concerns about the potential for these tools to be used to produce misleading or biased content or to replace human writers. Ultimately, whether AI writing tools are a help or hindrance depends on how they are used and the context in which they are used.

ასე რომ, დიახ, ეს არის.