მე გამოვცადე DeepSeek- ის R1 და V3 კოდირების უნარები - და ჩვენ ყველანი არ ვართ განწირული (ჯერჯერობით)

არის DeepSeek V3 და R1 შემდეგი დიდი რამ AI- ში? როგორ გადააჭარბა ამ ჩინურმა ღია წყაროს ჩეთბოტმა კოდირების ტესტებში დიდი სახელის AI- ს, მიუხედავად იმისა, რომ უფრო ნაკლები ინფრასტრუქტურა გამოიყენა, ვიდრე მისი კონკურენტები.

DeepSeek აფეთქდა მსოფლიოს ცნობიერებაში გასულ შაბათ-კვირას. იგი გამოირჩევა სამი ძლიერი მიზეზის გამო:

1. ეს არის AI ჩეთბოტი ჩინეთიდან, ვიდრე აშშ
2. ეს არის ღია წყარო.
3. ის იყენებს მნიშვნელოვნად ნაკლებ ინფრასტრუქტურას, ვიდრე დიდი AI ინსტრუმენტები, რომელსაც ჩვენ ვუყურებდით.

იმის გათვალისწინებით, რომ აშშ-ს მთავრობის შეშფოთება TikTok- ზე და ჩინეთის მთავრობის შესაძლო ჩართულობა ამ კოდში, ჩინეთიდან წარმოქმნილი ახალი AI ვალდებულია ყურადღება მიიპყროს. ZDNET- ის Radhika Rajkumar- მა ღრმად ჩაძირა ამ საკითხებთან დაკავშირებით თავის სტატიაში რატომ შეიძლება ჩინეთის DeepSeek- მა ააფეთქოს ჩვენი AI ბუშტი.

ამ სტატიაში ჩვენ თავიდან ავიცილებთ პოლიტიკას. ამის ნაცვლად, მე ვაყენებ როგორც DeepSeek V3- ს, ასევე DeekSeek R1 AI კოდირების ტესტების იმავე ნაკრების მეშვეობით, რომელიც მე გადავყარე 10 სხვა დიდი ენის მოდელზე. DeepSeek- ის მიხედვით:

• შეარჩიეთ V3 დავალებებისთვის, რომლებიც მოითხოვს სიღრმეს და სიზუსტეს (მაგ., მათემატიკის მოწინავე პრობლემების გადაჭრა, რთული კოდის გენერირება).

• აირჩიეთ R1 შეყოვნების მგრძნობიარე, მაღალი მოცულობის პროგრამებისთვის (მაგ., მომხმარებელთა მხარდაჭერის ავტომატიზაცია, ტექსტის ძირითადი დამუშავება).

თქვენ შეგიძლიათ აირჩიოთ R1 და V3 შორის ჩატის ინტერფეისში პატარა ღილაკზე დაჭერით. თუ ღილაკი ლურჯია, თქვენ იყენებთ R1- ს.

მოკლე პასუხი ასეთია: შთამბეჭდავი, მაგრამ აშკარად არ არის სრულყოფილი. ეა გლვჱვმ.

ტესტი 1: WordPress მოდულის წერა

ეს ტესტი სინამდვილეში იყო ჩემი პირველი გამოცდა ChatGPT- ის პროგრამირების ოსტატობის შესახებ, უკან დაბრუნების დღეს. ჩემს მეუღლეს სჭირდებოდა WordPress- ის მოდული, რომელიც დაეხმარება მას ონლაინ ჯგუფისთვის ჩართულობის მოწყობილობის გაშვებაში.

მისი საჭიროებები საკმაოდ მარტივი იყო. საჭიროა სახელების ჩამონათვალის აღება, ერთი სახელი თითო ხაზზე. შემდეგ მას უნდა დაალაგოს სახელები და თუ იყო დუბლიკატი სახელები, გამოყავით ისინი, რათა ისინი გვერდიგვერდ არ იყვნენ ჩამოთვლილი.

მე ნამდვილად არ მქონდა დრო, რომ კოდირება მისთვის, ამიტომ გადავწყვიტე AI გამოწვევა ახირება. ჩემდა გასაკვირად, ის მუშაობდა.

მას შემდეგ, ეს იყო ჩემი პირველი ტესტი AIs- სთვის მათი პროგრამირების უნარების შეფასებისას. ეს მოითხოვს AI- ს იცოდეს, თუ როგორ უნდა დააყენოს კოდი WordPress ჩარჩოსთვის და დაიცვას საკმარისად ნათლად მოთხოვნა, რომ შექმნას როგორც მომხმარებლის ინტერფეისი, ასევე პროგრამის ლოგიკა.

მხოლოდ ნახევარი AIs მე ტესტირება შეუძლია სრულად ჩააბაროს ეს ტესტი. თუმცა, ახლა ჩვენ შეგვიძლია კიდევ ერთი დავამატოთ გამარჯვებულის წრეში.

DeepSeek V3- მა შექმნა როგორც მომხმარებლის ინტერფეისი, ასევე პროგრამის ლოგიკა ზუსტად ისე, როგორც ეს მითითებულია. რაც შეეხება DeepSeek R1- ს, ეს საინტერესო შემთხვევაა. R1- ის "მსჯელობის" ასპექტმა გამოიწვია AI- ს 4502 სიტყვის ანალიზის გაფუჭება კოდის გაზიარებამდე. 

UI განსხვავებულად გამოიყურებოდა, გაცილებით ფართო შეყვანის სფეროებით. ამასთან, ორივე UI და ლოგიკა მუშაობდა, ამიტომ R1 ასევე გადის ამ ტესტს.

ჯერჯერობით, DeepSeek V3 და R1 ორივემ გაიარა ოთხი ტესტიდან ერთი.

ტესტი 2: სტრიქონის ფუნქციის გადაწერა

მომხმარებელი ჩიოდა, რომ მან ვერ შეძლო დოლარისა და ცენტის შეყვანა შემოწირულობის შესვლის ველში. როგორც დაწერილია, ჩემი კოდი მხოლოდ დოლარს უშვებდა. ასე რომ, ტესტი გულისხმობს AI- ს იმ რუტინას, რომელიც მე დავწერე და ვთხოვ მას გადაწეროს, რათა დაუშვას როგორც დოლარი, ასევე ცენტი

ჩვეულებრივ, ეს იწვევს AI- ს, რომელიც ქმნის რეგულარული გამოხატვის ვალიდაციის კოდს. DeepSeek- მა შექმნა კოდი, რომელიც მუშაობს, თუმცა არსებობს გაუმჯობესების ადგილი. კოდი, რომელიც DeepSeek V2- მა დაწერა, ზედმეტად გრძელი და განმეორებადი იყო, ხოლო მსჯელობა R1- ში კოდის შექმნამდე ასევე ძალიან გრძელი იყო. 

ჩემი ყველაზე დიდი საზრუნავი ის არის, რომ DeepSeek ვალიდაციის ორივე მოდელი უზრუნველყოფს 2 ათობითი ადგილის დადასტურებას, მაგრამ თუ ძალიან დიდი რიცხვი შედის (მაგალითად, 0.3000000000000000004), Parse- ის გამოყენებას არ აქვს აშკარა დამრგვალების ცოდნა. R1 მოდელმა ასევე გამოიყენა JavaScript- ის ნომრის კონვერტაცია ზღვარზე შეყვანის შემოწმების გარეშე. თუ ცუდი მონაცემები დაბრუნდება რეგულარული გამოხატვის ადრინდელი ნაწილიდან ან არა სიმებიანი ხდის მას ამ კონვერტაციაში, კოდი ჩამოვარდება.

უცნაურია, რადგან R1- მა წარუდგინა ტესტების ძალიან ლამაზი სია, რომ დაადასტუროს წინააღმდეგი:

ასე რომ, აქ, ჩვენ გვაქვს გაყოფილი გადაწყვეტილება. მე ვაძლევ აზრს DeepSeek V3- ს, რადგან არცერთი ამ საკითხიდან, რომელიც მისმა კოდმა წარმოშვა, არ გამოიწვევს პროგრამის გატეხვას მომხმარებლის მიერ გაშვებისას და გამოიმუშავებს მოსალოდნელ შედეგებს. მეორეს მხრივ, მე უნდა მივცე მარცხი R1- ს, რადგან თუ რამე, რაც არ არის სტრიქონი, რატომღაც მოხვდება ნომრის ფუნქციაში, ავარია მოხდება.

და ეს აძლევს DeepSeek V3- ს ორი გამარჯვება ოთხიდან, მაგრამ DeepSeek R1 ჯერჯერობით მხოლოდ ერთი გამარჯვება ოთხიდან.

ტესტი 3: შემაშფოთებელი შეცდომის პოვნა

ეს არის ტესტი, რომელიც შეიქმნა, როდესაც ძალიან შემაშფოთებელი შეცდომა მქონდა, რომლის თვალყურის დევნება მიჭირდა. კიდევ ერთხელ, მე გადავწყვიტე, თუ ChatGPT შეუძლია გაუმკლავდეს მას, რაც მან გააკეთა.

გამოწვევა ის არის, რომ პასუხი აშკარა არ არის. სინამდვილეში, გამოწვევა ის არის, რომ არსებობს აშკარა პასუხი, შეცდომის შეტყობინების საფუძველზე. მაგრამ აშკარა პასუხი არასწორი პასუხია. ამან არა მხოლოდ დამიჭირა, არამედ ის რეგულარულად იჭერს ზოგიერთ AI- ს.

ამ შეცდომის მოგვარება მოითხოვს იმის გაგებას, თუ როგორ მუშაობს კონკრეტული API WordPress- ში, შეუძლია ნახოს შეცდომის შეტყობინება თავად კოდში, შემდეგ კი იმის ცოდნა, თუ სად უნდა იპოვოთ შეცდომა.

DeepSeek V3- მა და R1- მა ეს თითქმის იდენტური პასუხებით გაიარეს, რამაც V3- ის ოთხი მოგებიდან სამამდე მიგვიყვანა და R1- ის ოთხი მოგებიდან ორი. ეს უკვე აყენებს DeepSeek- ს ტყუპების, კოპილოტის, კლოდისა და მეტას წინ.

გაიტანს DeepSeek-ს სახლის გაშვება V3-ისთვის? მოდით გავარკვიოთ.

ტესტი 4: სცენარის წერა

და კიდევ ერთი კბენს მტვერს. ეს რთული ტესტია, რადგან ის მოითხოვს AI- ს, რომ გაიგოს ურთიერთქმედება სამ გარემოს შორის: AppleScript, Chrome ობიექტის მოდელი და Mac სკრიპტირების ინსტრუმენტი, სახელწოდებით Keyboard Maestro.

მე ამას უსამართლო ტესტს ვუწოდებდი, რადგან კლავიატურის მაესტრო არ არის პროგრამირების ძირითადი ინსტრუმენტი. მაგრამ ChatGPT მარტივად გაუმკლავდა ტესტს, ზუსტად იმის გაგება, თუ რა პრობლემის ნაწილს ამუშავებს თითოეული ინსტრუმენტი.

სამწუხაროდ, არც DeepSeek V3 ან R1 არ ჰქონდა ცოდნის ეს დონე. არც ერთმა მოდელმა არ იცოდა, რომ საჭიროა დავალების გაყოფა კლავიატურის მაესტროსა და Chrome- ის ინსტრუქციებს შორის. მას ასევე ჰქონდა AppleScript- ის საკმაოდ სუსტი ცოდნა, დაწერა საბაჟო რუტინები AppleScript- ისთვის, რომლებიც ენის მკვიდრია. 

უცნაურად, R1 მოდელიც ვერ მოხერხდა, რადგან მან არასწორი ვარაუდები გააკეთა. იგი ვარაუდობდა, რომ წინა ფანჯარა ყოველთვის არსებობს, რაც ნამდვილად არ არის საქმე. მან ასევე გააკეთა ვარაუდი, რომ ამჟამად წინა გაშვებული პროგრამა ყოველთვის იქნებოდა Chrome, ვიდრე ცალსახად ამოწმებდა, მუშაობდა თუ არა Chrome.

ეს ტოვებს DeepSeek V3- ს სამი სწორი ტესტით და ერთი მარცხით და DeepSeek R1 ორი სწორი ტესტით და ორი მარცხით.

საბოლოო აზრები

მე აღმოვაჩინე, რომ DeepSeek- ის დაჟინებული მოთხოვნა საჯარო ღრუბლოვანი ელ.ფოსტის მისამართის გამოყენებაზე, როგორიცაა gmail.com (ვიდრე ჩემი ნორმალური ელ.ფოსტის მისამართი ჩემი კორპორატიული დომენით) შემაშფოთებელი იყო. მას ასევე ჰქონდა მთელი რიგი რეაგირება, რამაც ამ ტესტების ჩატარება უფრო მეტხანს დასჭირდებოდა, ვიდრე მე მომწონდა.

დარწმუნებული არ ვიყავი, რომ შევძლებდი ამ სტატიის დაწერას, რადგან, დღის უმეტეს ნაწილში, ეს შეცდომა მივიღე დარეგისტრირების მცდელობისას:

DeepSeek- ის ონლაინ სერვისებს ცოტა ხნის წინ შეექმნათ ფართომასშტაბიანი მავნე შეტევები. უწყვეტი მომსახურების უზრუნველსაყოფად, რეგისტრაცია დროებით შემოიფარგლება +86 ტელეფონის ნომრებით. არსებულ მომხმარებლებს შეუძლიათ შესვლა ჩვეულებისამებრ. მადლობა თქვენი გაგებისა და მხარდაჭერისთვის.

შემდეგ შევედი და შევძელი ტესტების ჩატარება.

DeepSeek, როგორც ჩანს, ზედმეტად ლოკალია იმ კოდის თვალსაზრისით, რომელსაც ის ქმნის. AppleScript კოდი ტესტი 4 იყო როგორც არასწორი, ასევე ზედმეტად გრძელი. ტესტი 2-ში რეგულარული გამოხატვის კოდი სწორი იყო V3- ში, მაგრამ ის შეიძლება დაწერილიყო ისე, რომ ის ბევრად უფრო შენარჩუნებული ყოფილიყო. ეს ვერ მოხერხდა R1- ში.

მე ნამდვილად აღფრთოვანებული ვარ, რომ DeepSeek V3- მა დაამარცხა ტყუპები, კოპილოტი და მეტა. მაგრამ, როგორც ჩანს, ძველ GPT-3.5 დონეზეა, რაც იმას ნიშნავს, რომ ნამდვილად არსებობს გაუმჯობესების ადგილი. იმედგაცრუებული ვიყავი R1 მოდელის შედეგებით. არჩევანის გათვალისწინებით, მე მაინც ვირჩევდი ChatGPT- ს, როგორც ჩემი პროგრამირების კოდის დამხმარე.

როგორც ითქვა, ახალი ინსტრუმენტისთვის, რომელიც მუშაობს ბევრად უფრო დაბალ ინფრასტრუქტურაზე, ვიდრე სხვა ინსტრუმენტები, ეს შეიძლება იყოს AI საყურებლად.

რას ფიქრობ? გიცდიათ DeepSeek? იყენებთ რაიმე API-ს პროგრამირების მხარდაჭერისთვის? შეგვატყობინეთ ქვემოთ მოცემულ კომენტარებში.