"კაცობრიობის ბოლო გამოცდის" საორიენტაციო ნიშანი არის AI-ის საუკეთესო მოდელები - შეგიძლიათ უკეთესად გააკეთოთ?

ახალი აკადემიური საორიენტაციო ნიშანი მიზნად ისახავს "ხელოვნური ინტელექტის ცოდნის საზღვრების შემოწმებას ადამიანის ექსპერტიზის საზღვრებში". ჯერჯერობით, ეს LLM- ები იკუმშება.

არის თუ არა ხელოვნური ინტელექტის (AI) მოდელები ნამდვილად აღემატება ადამიანის უნარს? ან მიმდინარე ტესტები მათთვის ძალიან მარტივია? 

ხუთშაბათს, Scale AI-მა და AI Safety-ის ცენტრმა (CAIS) გამოაქვეყნეს კაცობრიობის ბოლო გამოცდა (HLE), ახალი აკადემიური საორიენტაციო ნიშანი, რომლის მიზანია "ხელოვნური ინტელექტის ცოდნის ლიმიტების შემოწმება ადამიანის ექსპერტიზის საზღვრებში", - ნათქვამია Scale AI-ის გამოშვებაში. ტესტი შედგება 3,000 ტექსტური და მულტიმოდალური კითხვისგან 100-ზე მეტ საგანზე, როგორიცაა მათემატიკა, მეცნიერება და ჰუმანიტარული მეცნიერებები, რომლებიც წარდგენილია სხვადასხვა დარგის ექსპერტების მიერ. 

Anthropic's Michael Gerstenhaber, API ტექნოლოგიების ხელმძღვანელმა, Bloomberg-ს გასულ შემოდგომაზე აღნიშნა, რომ AI მოდელები ხშირად აჭარბებენ ნიშნულებს (ნაწილი, თუ რატომ იცვლება Chatbot Arena-ს ლიდერბორდი ასე სწრაფად, როდესაც ახალი მოდელები გამოვა). მაგალითად, ბევრი LLM ახლა 90% -ზე მეტს იღებს მრავალ დავალების ენის გაგებაზე (MMLU), ხშირად გამოყენებულ ნიშნულზე . ეს ცნობილია როგორც საორიენტაციო გაჯერება.

ამის საპირისპიროდ, სკალა იტყობინება, რომ მიმდინარე მოდელებმა მხოლოდ HLE ნიშნულის კითხვების 10 პროცენტზე ნაკლები სწორად უპასუხეს. 

ორი ორგანიზაციის მკვლევარებმა თავდაპირველად შეაგროვეს 70,000-ზე მეტი კითხვა HLE- სთვის, შეავიწრვალეს ისინი 13,000 - მდე, რომლებიც ადამიანის ექსპერტებმა განიხილეს და შემდეგ კიდევ ერთხელ გამოხდეს საბოლოო 3,000 - ში. მათ შეამოწმეს კითხვები საუკეთესო მოდელებზე, როგორიცაა OpenAI's o1 და GPT-4o, Anthropic's Claude 3.5 Sonnet და Google's Gemini 1.5 Pro MMLU, MATH და GPQA ნიშნულებთან ერთად. 

"როდესაც მე გამოვაქვეყნე MATH საორიენტაციო ნიშანი -- რთული კონკურენციის მათემატიკის მონაცემთა ბაზა -- 2021 წელს საუკეთესო მოდელმა 10% -ზე ნაკლები გაიტანა; რამდენიმე იწინასწარმეტყველა, რომ 90% -ზე მეტი ქულა მიიღწევა მხოლოდ სამი წლის შემდეგ", - თქვა დენ ჰენდრიკსმა, CAIS- ის თანადამფუძნებელმა და აღმასრულებელმა დირექტორმა. "ახლა, კაცობრიობის ბოლო გამოცდა აჩვენებს, რომ ჯერ კიდევ არსებობს რამდენიმე ექსპერტი დახურული კითხვები, რომლებსაც მოდელები ვერ პასუხობენ. ჩვენ ვნახავთ, რამდენ ხანს გრძელდება ეს."

მასშტაბი და CAIS მისცა კონტრიბუტორებს ფულადი პრიზები საუკეთესო კითხვებისთვის: $5,000 წავიდა თითოეულ ტოპ 50-ში, ხოლო შემდეგმა საუკეთესო 500-მა მიიღო $500. მიუხედავად იმისა, რომ საბოლოო კითხვები ახლა საჯაროა, ორმა ორგანიზაციამ შეინარჩუნა კითხვების კიდევ ერთი ნაკრები, რათა მიმართოს "მოდელის გადაჭარბებას", ან როდესაც მოდელი იმდენად მჭიდროდ არის მომზადებული მონაცემთა ბაზაში, რომ მას არ შეუძლია ზუსტი პროგნოზების გაკეთება ახალ მონაცემებზე. 

საორიენტაციო ნიშნის შემქმნელები აღნიშნავენ, რომ ისინი კვლავ იღებენ ტესტის კითხვებს, მაგრამ აღარ დააჯილდოვებენ ფულადი პრიზები, თუმცა კონტრიბუტორებს უფლება აქვთ თანაავტორობა. 

CAIS და Scale AI გეგმავენ მონაცემთა ბაზის მკვლევარებს გამოშვებას, რათა მათ შეძლონ ახალი AI სისტემებისა და მათი შეზღუდვების შესწავლა. თქვენ შეგიძლიათ ნახოთ ყველა საორიენტაციო და ნიმუშის კითხვა lastexam.ai.