რომელი AI აგენტია საუკეთესო? ამ ახალ ლიდერბორდს შეუძლია გითხრათ

გალილეო AI- მა ახლახან გამოუშვა აგენტის ლიდერბორდი Hugging Face- ზე და გამარჯვებულმა შეიძლება გაგაოცოთ.

რა ჯობია AI ჩეთბოტს, რომელსაც შეუძლია შეასრულოს დავალებები თქვენთვის მოთხოვნისას? AI, რომელსაც შეუძლია საკუთარი დავალებების შესრულება.

AI აგენტები ხელოვნური ინტელექტის სივრცეში უახლესი საზღვარია. AI კომპანიები იბრძვიან საკუთარი მოდელების შესაქმნელად და შეთავაზებები მუდმივად გადადიან საწარმოებში. მაგრამ რომელი AI აგენტია საუკეთესო?

გალილეოს ლიდერბორდი

ოთხშაბათს, გალილეომ დაიწყო აგენტის ლიდერბორდი Hugging Face- ზე, ღია კოდის AI პლატფორმაზე, სადაც მომხმარებლებს შეუძლიათ შექმნან, ივარჯიშონ, წვდომა და განათავსონ AI მოდელები. ლიდერბორდი მიზნად ისახავს დაეხმაროს ადამიანებს ისწავლონ, თუ როგორ ასრულებენ AI აგენტები რეალურ ბიზნეს აპლიკაციებში და დაეხმარონ გუნდებს განსაზღვრონ რომელი აგენტი საუკეთესოდ შეესაბამება მათ საჭიროებებს.

📊 Our Agent Leaderboard is 𝗹𝗶𝘃𝗲! We built a comprehensive benchmark of which LLMs work best for AI Agents 👀
After evaluating 17 leading LLMs across 14 diverse datasets, we're excited to share our findings about which models truly excel at tool-calling—and are ready to… pic.twitter.com/Cgw2iWNSA7

— 🔭 Galileo (@rungalileo) February 12, 2025

ლიდერბორდში ამჟამად წარმოდგენილია "17 წამყვანი LLM", მათ შორის მოდელები Google, OpenAI, Mistral, Anthropic და Meta. ყოველთვიურად განახლდება, რათა შეინარჩუნოს მიმდინარე გამოშვებები, რომლებიც ხშირად ხდება.

როგორ ხდება მოდელების რანჟირება

შედეგების დასადგენად, გალილეო იყენებს ბენჩმარკირების მონაცემთა ნაკრებებს, მათ შორის BFCL (Berkeley Function Calling Leaderboard), τ-bench (Tau benchmark), Xlam და ToolACE, რომლებიც ამოწმებენ სხვადასხვა აგენტის შესაძლებლობებს. შემდეგ ლიდერბორდები ამ მონაცემებს გადააქციეს შეფასების ჩარჩოდ, რომელიც მოიცავს რეალურ სამყაროში გამოყენების შემთხვევებს.

"BFCLexcels აკადემიურ დომენებში, როგორიცაა მათემატიკა, გართობა და განათლება, τ-benchspecializes საცალო და ავიაკომპანიის სცენარებში, xLAMcovers მონაცემთა გამომუშავება 21 დომენში დაToolACEfocuses on API ურთიერთქმედება 390 დომენში", - განმარტავს კომპანია ბლოგის პოსტში.

გალილეო დასძენს, რომ თითოეული მოდელი სტრესულია, რათა გაზომოს ყველაფერი მარტივი API ზარებიდან უფრო მოწინავე ამოცანებამდე, როგორიცაა მრავალ ინსტრუმენტიანი ურთიერთქმედება. კომპანიამ ასევე გაიზიარა თავისი მეთოდოლოგია და დაარწმუნა მომხმარებლები, რომ ის იყენებს სტანდარტიზებულ მეთოდოლოგიას, რათა შეაფასოს ყველა ხელოვნური ინტელექტის აგენტი სამართლიანად. პოსტში შედის უფრო ტექნიკური ჩაყვინთვა მოდელის რეიტინგში.

რეიტინგები

Google-ის Gemini-2.0 flash პირველ ადგილზეა, რასაც მოჰყვება OpenAI-ის GPT-4o. ორივე ამ მოდელმა მიიღო ის, რასაც გალილეო უწოდებს "Elite Tier Performance" სტატუსს, რომელიც გადაეცემა მოდელებს .9 ან მეტი ქულით. Google და OpenAI დომინირებდნენ ლიდერბორდში მათი პირადი მოდელებით, იკავებდნენ პირველ ექვს პოზიციას.

Google- ის ტყუპები 2.0 თანმიმდევრული იყო შეფასების ყველა კატეგორიაში და დაბალანსებული შთამბეჭდავი თანმიმდევრულობის შესრულება ყველა კატეგორიაში, ხარჯების ეფექტურობით, პოსტის თანახმად, 0.15 აშშ დოლარის ღირებულებით/0.6 აშშ დოლარი თითო მილიონ ჟეტონზე. მიუხედავად იმისა, რომ GPT-4o იყო ახლო წამი, მას აქვს ბევრად უფრო მაღალი ფასის წერტილი $2.5/$10 მილიონზე.

"მაღალი ხარისხის სეგმენტში", ელიტის იარუსის ქვემოთ მდებარე კატეგორიაში, Gemini-1.5-Flash მესამე ადგილზე მოვიდა, ხოლო Gemini-1.5-Pro მეოთხეში. OpenAI- ს მსჯელობის მოდელები, o1 და o3-mini, შესაბამისად, მეხუთე და მეექვსე ადგილზე.

Mistral-small-2501 იყო პირველი ღია კოდის AI მოდელი ჩარტში. მისმა ქულამ .832 განათავსა იგი "საშუალო დონის შესაძლებლობების" კატეგორიაში. შეფასებებმა დაადგინა, რომ მისი ძლიერი მხარეები მისი ძლიერი გრძელი კონტექსტის მართვა და ხელსაწყოების შერჩევის შესაძლებლობებია.

როგორ მივიღოთ

შედეგების სანახავად, შეგიძლიათ ეწვიოთ აგენტის ლიდერბორდს Hugging Face- ზე. სტანდარტული ლიდერბორდის გარდა, თქვენ შეძლებთ ლიდერბორდის გაფილტვრას იმის მიხედვით, არის თუ არა LLM ღია წყარო ან პირადი. და კატეგორიის მიხედვით, რომელიც ეხება ტესტირების შესაძლებლობებს (საერთო, გრძელი კონტექსტი, კომპოზიტური და ა.შ.).