არის თუ არა Perplexity's Sonar ნამდვილად უფრო "ფაქტობრივი", ვიდრე მისი AI კონკურენტები? ნახეთ საკუთარი თავი

კომპანია ირწმუნება, რომ მისი ახლად განახლებული მოდელი ნომერ პირველია მომხმარებლის კმაყოფილებასა და სიჩქარეში - მაგრამ მისი მეთოდოლოგია გაურკვეველია.

AI საძიებო სისტემა Perplexity ამბობს, რომ მისი უახლესი გამოშვება უფრო მაღლა და მის მიღმაა მომხმარებლის კმაყოფილებისთვის - განსაკუთრებით OpenAI- ს GPT-4o- თან შედარებით.

სამშაბათს, Perplexity- მა გამოაცხადა Sonar- ის ახალი ვერსია, მისი საკუთრების მოდელი. Meta- ს ღია კოდის Llama 3.3 70B- ზე დაყრდნობით, განახლებული Sonar "ოპტიმიზირებულია პასუხის ხარისხისა და მომხმარებლის გამოცდილებისთვის", - ამბობს კომპანია, რომელიც გაწვრთნილია საძიებო რეჟიმში მისი პასუხების წაკითხვისა და სიზუსტის გასაუმჯობესებლად. 

Perplexity ირწმუნება, რომ Sonar გაიტანა უფრო მაღალი ვიდრე GPT-4o მინი და Claude მოდელები ფაქტობრივი და readability. კომპანია განსაზღვრავს ფაქტუალობას, როგორც ზომას "რამდენად კარგად შეუძლია მოდელს უპასუხოს კითხვებს ძიების შედეგებში დასაბუთებული ფაქტების გამოყენებით და მისი შესაძლებლობა გადაჭრას კონფლიქტური ან დაკარგული ინფორმაცია". თუმცა, ამის გასაზომად გარე საორიენტაციო ნიშანი არ არსებობს.

ამის ნაცვლად, Perplexity აჩვენებს Sonar და კონკურენტის მოდელების გვერდითი პასუხების რამდენიმე ეკრანის მაგალითს, მათ შორის GPT-4o და Claude 3.5 Sonnet. ისინი, ჩემი აზრით, განსხვავდებიან პირდაპირობით, დასრულებით და სკანიანობით, ხშირად უპირატესობას ანიჭებენ სონარის სუფთა ფორმატირებას (სუბიექტური უპირატესობა) და ციტირების უფრო მეტ რაოდენობას - თუმცა ეს პირდაპირ არ საუბრობს წყაროს ხარისხზე, მხოლოდ რაოდენობაზე. წყაროებზე, რომლებსაც ჩეთბოტის ციტები ასევე გავლენას ახდენს გამომცემელი და მედია პარტნიორი ხელშეკრულებები მისი მშობელი კომპანიის, რომელიც Perplexity და OpenAI თითოეულს აქვს. 

რაც მთავარია, მაგალითები არ შეიცავს თავად შეკითხვებს, მხოლოდ პასუხებს და Perplexity არ განმარტავს მეთოდოლოგიას იმის შესახებ, თუ როგორ გამოიწვია ან შეაფასა პასუხები  - განსხვავებები მოთხოვნებს შორის, შეკითხვების რაოდენობა და ა.შ. - სამაგიეროდ, შედარების დატოვება ინდივიდებზე, რომ "ნახონ განსხვავება". 

Perplexity- ის ერთ-ერთი "ფაქტობრივი და კითხვადობა" მაგალითები. 

Perplexity ამბობს, რომ ონლაინ A /B ტესტირებამ გამოავლინა, რომ მომხმარებლები ბევრად უფრო კმაყოფილი და დაკავებულნი იყვნენ Sonar- ით, ვიდრე GPT-4o mini, Claude 3.5 Haiku და Claude 3.5 Sonnet, მაგრამ ეს არ გაფართოვდა ამ შედეგების სპეციფიკაზე ქაღალდზე. 

"მომხმარებლის კმაყოფილება იზომება ორივე აშკარა (შემდგომი, მაგალითად, არ მოსწონს, გადაწერა) და implicit (შეკავება, დრო კითხულობს პასუხი, შემდგომი სენტიმენტი) სიგნალები. კომბინირებული, ისინი აცნობებენ მომხმარებლის კმაყოფილების ქულას", - განუცხადა პერპლექსობის წარმომადგენელმა ZDNET-ს ელ.ფოსტით. 

"Sonar მნიშვნელოვნად აღემატება მოდელებს თავის კლასში, როგორიცაა GPT-4o mini და Claude 3.5 Haiku, ხოლო მჭიდროდ შეესაბამება ან აღემატება სასაზღვრო მოდელების შესრულებას, როგორიცაა GPT-4o და Claude 3.5 Sonnet მომხმარებლის კმაყოფილებისთვის", - ნათქვამია პერპლექსობის განცხადებაში. 

Perplexity- ის თანახმად, Sonar- ის სიჩქარე 1,200 სიმბოლო წამში საშუალებას აძლევს მას უპასუხოს შეკითხვებს თითქმის მყისიერად და იმუშაოს 10 - ჯერ უფრო სწრაფად, ვიდრე Gemini 2.0 Flash. ტესტირებამ აჩვენა, რომ Sonar გადააჭარბა GPT-4o mini და Claude 3.5 Haiku "მნიშვნელოვანი ზღვარით", მაგრამ კომპანია არ განმარტავს ამ ტესტირების დეტალებს. კომპანია ასევე ამბობს, რომ Sonar აჭარბებს უფრო ძვირადღირებულ სასაზღვრო მოდელებს, როგორიცაა Claude 3.5 Sonnet "ხოლო მჭიდროდ უახლოვდება GPT-4o- ს შესრულებას". 

სონარმა დაამარცხა თავისი ორი კონკურენტი, სხვათა შორის, აკადემიური საორიენტაციო ტესტებზე IFEval და MMLU, რომლებიც აფასებენ რამდენად კარგად მიჰყვება მოდელი მომხმარებლის მითითებებს და მის გაგებას "მსოფლიო ცოდნა" დისციპლინებში. 

გსურთ სცადოთ იგი თქვენთვის? განახლებული Sonar ხელმისაწვდომია ყველა Pro მომხმარებლისთვის, რომელსაც შეუძლია გახადოს თავისი ნაგულისხმევი მოდელი მათ პარამეტრებში ან მასზე წვდომა Sonar API- ს საშუალებით.