10 ძირითადი მიზეზი, რის გამოც AI ღამით წავიდა - და რა ხდება შემდეგ

ზოგიერთ გამოწვევაში, GPT-4-ზე დაფუძნებულმა მოდელმა გაიმარჯვა. სხვებში ეს ვერ მოხერხდა. როგორ იცით, როდის უნდა ენდოთ მას?

ის, რაც ყველაზე მეტად მაწუხებს პროგრამირების ტესტებზე, რომლებსაც მე ვატარებდი, არის ის, რომ იმავე დიდი ენის მოდელზე დაფუძნებული ინსტრუმენტები საკმაოდ განსხვავებულად ასრულებენ.

მაგალითად, ChatGPT, Perplexity და GitHub Copilot ემყარება GPT-4 მოდელს OpenAI- დან. მაგრამ, როგორც ქვემოთ გაჩვენებთ, ხოლო ChatGPT და Perplexity- ის პრო გეგმები შესანიშნავად შესრულდა, GitHub Copilot- მა ვერ შეძლო, როგორც ხშირად, როდესაც მან წარმატებას მიაღწია.

მე გამოვცადე GitHub Copilot ჩადგმული VS კოდის ინსტანციაში. მე აგიხსნით, თუ როგორ უნდა დააყენოთ ეს და გამოიყენოთ GitHub Copilot მომავალ ნაბიჯ-ნაბიჯ სტატიაში. მაგრამ პირველი, მოდით გავიქცეთ ტესტები.

თუ გსურთ იცოდეთ როგორ ვამოწმებ და თითოეული ინდივიდუალური ტესტის მოთხოვნას, მოგერიდებათ წაიკითხოთ როგორ ვამოწმებ AI ჩეთბოტის კოდირების უნარს.

TL; DR: GitHub Copilot გაიარა ორი და ვერ შეძლო ორი.

ტესტი 1: WordPress მოდულის წერა

ასე რომ, ეს ვერ მოხერხდა. ეს იყო ჩემი პირველი ტესტი, ასე რომ, ჯერ ვერ გეტყვით, არის თუ არა GitHub Copilot საშინელი კოდის წერისას, ან არის თუ არა კონტექსტი, რომელშიც მასთან ურთიერთქმედებს, შემოიფარგლება იმ წერტილამდე, სადაც ის ვერ აკმაყოფილებს ამ მოთხოვნას.

ნება მომეცით აგიხსნათ.

ეს ტესტი გულისხმობს AI- ს სრულად ფუნქციონალური WordPress მოდულის შექმნას, სრული ადმინისტრატორის ინტერფეისის ელემენტებით და საოპერაციო ლოგიკით. მოდული იღებს სახელების ერთობლიობას, ახარისხებს მათ და, თუ არსებობს დუბლიკატები, ჰყოფს დუბლიკატებს, ასე რომ ისინი გვერდიგვერდ არ არიან.

ეს იყო რეალურ სამყაროში პროგრამა, რომელიც ჩემს მეუღლეს სჭირდებოდა, როგორც ჩართულობის მოწყობილობის ნაწილი, რომელიც ის მუშაობს თავის ძალიან აქტიურ ფეისბუქ ჯგუფში, როგორც მისი ციფრული საქონლის ელექტრონული კომერციის ბიზნესის ნაწილი.

სხვა AI- ების უმეტესობამ გაიარა ეს ტესტი, ნაწილობრივ მაინც. 10 AI მოდელიდან ხუთმა ტესტი მთლიანად ჩააბარა. სამმა მათგანმა გაიარა ტესტის ნაწილი. ორი (მათ შორის Microsoft Copilot) მთლიანად ვერ მოხერხდა.

საქმე იმაშია, რომ GitHub Copilot- ს იგივე მოთხოვნა მივეცი, რასაც ყველა მათგანს ვაძლევ, მაგრამ ეს მხოლოდ PHP კოდს წერდა. გასაგები რომ იყოს, ამ პრობლემის მოგვარება შესაძლებელია მხოლოდ PHP კოდის გამოყენებით. მაგრამ ზოგიერთ API- ს მოსწონს JavaScript- ის ჩართვა ინტერაქტიული მახასიათებლებისთვის. GitHub Copilot მოიცავდა კოდს JavaScript- ის გამოყენებისთვის, მაგრამ რეალურად არ გენერირებულა JavaScript, რომლის გამოყენებაც სცადა.

რაც უფრო უარესია, როდესაც მე შევქმენი JavaScript ფაილი და JavaScript ფაილის შიგნიდან შევეცადე GitHub Copilot- ის მიღება მოთხოვნის გასაშვებად, მან მომცა კიდევ ერთი PHP სკრიპტი, რომელიც ასევე მიუთითებდა JavaScript ფაილზე.

როგორც ქვემოთ ხედავთ, randomizer.js ფაილის ფარგლებში, იგი ცდილობდა randomizer.js ფაილის ჩართვას (ძირითადად გასაშვებად) და მის მიერ დაწერილი კოდი იყო PHP და არა JavaScript.

ტესტი 2: სტრიქონის ფუნქციის გადაწერა

ეს ტესტი საკმაოდ მარტივია. მე დავწერე ფუნქცია, რომელიც უნდა გამოეცადა დოლარი და ცენტი, მაგრამ დაიჭრა მხოლოდ მთელი რიცხვების ტესტირება (დოლარი). ტესტი სთხოვს AI- ს კოდის დაფიქსირებას.

GitHub Copilot- მა გადაამუშავა კოდი, მაგრამ მის მიერ წარმოებული კოდის პრობლემები იყო.

• იგი ვარაუდობდა, რომ სიმებიანი მნიშვნელობა ყოველთვის სიმებიანი მნიშვნელობა იყო. თუ ცარიელი იყო, კოდი დაირღვა.
• შესწორებული რეგულარული გამოხატვის კოდი დაირღვევა, თუ ათობითი წერტილი (ე.ი. "3.") შეყვანილი იყო, თუ წამყვანი ათობითი წერტილი (ე.ი. ".3") შეყვანილი იყო, ან თუ წამყვანი ნული შედის (ე.ი. "00.30").

რაღაცისთვის, რაც უნდა შეამოწმოთ, სწორად შევიდა თუ არა ვალუტა, კოდის ჩავარდნა, რომელიც ზღვარზე ჩამოვარდებოდა, არ არის მისაღები.

ასე რომ, ჩვენ კიდევ ერთი მარცხი გვაქვს.

ტესტი 3: შემაშფოთებელი შეცდომის პოვნა

GitHub Copilot მიიღო ეს უფლება. ეს არის კიდევ ერთი ტესტი, რომელიც გამოყვანილია ჩემი რეალურ ცხოვრებაში კოდირების ესკაპადებიდან. რა გახადა ეს შეცდომა ასე შემაშფოთებელი (და ძნელია გაერკვნენ) არის ის, რომ შეცდომის შეტყობინება პირდაპირ არ არის დაკავშირებული რეალურ პრობლემასთან.

შეცდომა არის ხრიკის კითხვის ერთგვარი კოდერის ექვივალენტი. მისი გადაჭრა მოითხოვს იმის გაგებას, თუ როგორ მუშაობს კონკრეტული API WordPress ჩარჩოში და შემდეგ ამ ცოდნის გამოყენება მოცემულ შეცდომაზე.

Microsoft Copilot, Gemini და Meta Code Llama ყველა ვერ მოხერხდა ეს ტესტი. მაგრამ GitHub Copilot- მა სწორად გადაჭრა.

ტესტი 4: სცენარის წერა

აქაც, GitHub Copilot- მა წარმატებას მიაღწია იქ, სადაც Microsoft Copilot ვერ მოხერხდა. აქ გამოწვევა ის არის, რომ მე ვამოწმებ AI- ს შესაძლებლობას შექმნას სკრიპტი, რომელმაც იცის AppleScript- ში კოდირების, Chrome ობიექტის მოდელის და მცირე Mac- მხოლოდ მესამე მხარის კოდირების პროგრამა, სახელწოდებით Keyboard Maestro.

ამ ტესტის ჩასაბარებლად, AI- ს უნდა შეეძლოს იმის აღიარება, რომ სამივე კოდირების გარემოს ყურადღება სჭირდება და შემდეგ თითოეულ ამ გარემოსთვის კოდის ინდივიდუალური ხაზების მორგება.

საბოლოო აზრები

იმის გათვალისწინებით, რომ GitHub Copilot იყენებს GPT-4- ს, მე ვხვდები იმ ფაქტს, რომ მან ვერ შეძლო ტესტების ნახევარი. GitHub არის პლანეტის ყველაზე პოპულარული წყაროების მართვის გარემო და იმედი მაქვს, რომ AI კოდირების მხარდაჭერა გონივრულად საიმედო იყო.

როგორც ყველაფერ AI- ს, დარწმუნებული ვარ, შესრულება უკეთესობისკენ შეიცვლება. მოდით დავრჩეთ თვალყური და შევამოწმოთ რამდენიმე თვეში, რომ ვნახოთ, არის თუ არა AI უფრო ეფექტური იმ დროს.

იყენებთ AI-ს კოდირების დასახმარებლად? რა AI გირჩევნიათ? სცადეთ GitHub Copilot? შეგვატყობინეთ ქვემოთ მოცემულ კომენტარებში.