რა არის sparsity? DeepSeek AI-ის საიდუმლო, რომელიც Apple-ის მკვლევარებმა გამოავლინეს

AI მოდელი, რომელმაც შეარყია სამყარო, არის ფართო ტენდენციის ნაწილი ჩიპებისგან მეტი გამოწურვისთვის. აი როგორ მუშაობს.

ხელოვნური ინტელექტის (AI) ბაზარი - და მთელი საფონდო ბირჟა - გასულ თვეში შეარყია DeepSeek- ის მოულოდნელმა პოპულარობამ, ღია კოდის დიდი ენის მოდელმა (LLM), რომელიც შემუშავებულია ჩინეთში დაფუძნებული ჰეჯ-ფონდის მიერ, რომელმაც OpenAI- ს საუკეთესო მიანიჭა ზოგიერთ დავალებაზე, ხოლო გაცილებით ნაკლები ღირს.

როგორც ZDNET-ის Radhika Rajkumar-ის დეტალები, R1-ის წარმატება ხაზს უსვამს ზღვის ცვლილებას AI-ში, რომელსაც შეუძლია გააძლიეროს მცირე ლაბორატორიები და მკვლევარები კონკურენტული მოდელების შესაქმნელად და ხელმისაწვდომი ვარიანტების დივერსიფიკაციისთვის.

რატომ მუშაობს DeepSeek ასე კარგად?

მისი წარმატება განპირობებულია ფართო მიდგომით AI- ის ღრმა სწავლის ფორმებში, რათა კომპიუტერის ჩიპებიდან უფრო მეტი შესუსტება გამოიყენოს ფენომენის გამოყენებით, რომელიც ცნობილია როგორც "sparsity".

Sparsity მოდის მრავალი ფორმით. ზოგჯერ, ის გულისხმობს მონაცემების ნაწილების აღმოფხვრას, რომელსაც AI იყენებს, როდესაც ეს მონაცემები მატერიალურად არ მოქმედებს მოდელის გამომუშავებაზე.

სხვა დროს, sparsity გულისხმობს ნერვული ქსელის მთელი ნაწილის მოჭრას, თუ ამის გაკეთება არ იმოქმედებს შედეგზე.

DeepSeek არის ამ უკანასკნელის მაგალითი: ნერვული ბადეების პარსიმენტული გამოყენება.

DeepSeek- ში ადამიანების უმეტესობამ გამოავლინა მთავარი წინსვლა ის არის, რომ მას შეუძლია ნერვული ქსელის "წონის" ან "პარამეტრების" დიდი მონაკვეთების ჩართვა და გამორთვა. პარამეტრები აყალიბებს, თუ როგორ შეუძლია ნერვულ ქსელს შეყვანის გარდაქმნა -- მოთხოვნა, რომელსაც აკრიფებთ -- გენერირებულ ტექსტში ან სურათებში. პარამეტრებს აქვთ პირდაპირი გავლენა იმაზე, თუ რამდენი დრო სჭირდება გამოთვლების შესრულებას. მეტი პარამეტრი, როგორც წესი, ნიშნავს უფრო მეტ გამოთვლით ძალისხმევას.

Sparsity და მისი როლი AI-ში

LLM- ის მხოლოდ რამდენიმე მთლიანი პარამეტრის გამოყენების და დანარჩენი გამორთვის შესაძლებლობა იშვიათია. ამ იშვიათობამ შეიძლება დიდი გავლენა მოახდინოს იმაზე, თუ რამდენად დიდი ან მცირეა კომპიუტერული ბიუჯეტი AI მოდელისთვის.

Apple AI მკვლევარებმა, 21 იანვარს გამოქვეყნებულ ანგარიშში, განმარტეს, თუ როგორ იყენებენ DeepSeek და მსგავსი მიდგომები sparsity- ს, რათა მიიღონ უკეთესი შედეგები მოცემული რაოდენობის გამოთვლითი ენერგიისთვის.

Apple- ს არანაირი კავშირი არ აქვს DeepSeek- თან, მაგრამ ტექნიკური გიგანტი აკეთებს საკუთარ AI კვლევას. ამიტომ, გარე კომპანიების განვითარება, როგორიცაა DeepSeek, ფართოდ არის Apple- ის უწყვეტი ჩართულობის ნაწილი AI კვლევაში.

ნაშრომში, სახელწოდებით "პარამეტრები vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models", გამოქვეყნებული arXiv წინასწარ ბეჭდვის სერვერზე, წამყვანი ავტორი სამირ აბნარი და Apple- ის სხვა მკვლევარები, MIT- ის კოლაბორატორ ჰარშაი შაჰთან ერთად, შეისწავლეს, თუ როგორ იცვლებოდა შესრულება, რადგან ისინი იყენებდნენ sparsity ნერვული ქსელის ნაწილების გამორთვით.

აბნარმა და გუნდმა ჩაატარეს სწავლა 2023 წელს გამოშვებული კოდის ბიბლიოთეკის გამოყენებით Microsoft- ის, Google- ისა და Stanford- ის AI მკვლევარების მიერ, სახელწოდებით MegaBlocks. თუმცა, ისინი ცხადყოფს, რომ მათი საქმიანობა შეიძლება გამოყენებულ იქნას DeepSeek და სხვა ბოლოდროინდელ ინოვაციებზე.

აბნარი და გუნდი ეკითხებიან, არის თუ არა "ოპტიმალური" დონე Sparsity in DeepSeek და მსგავსი მოდელები: მოცემული რაოდენობის კომპიუტერული ენერგიისთვის, არის თუ არა ამ ნერვული წონის ოპტიმალური რაოდენობა, რომ ჩართოთ ან გამორთოთ?

კვლევა ვარაუდობს, რომ თქვენ შეგიძლიათ სრულად შეაფასეთ sparsity, როგორც პროცენტული ყველა ნერვული წონა შეგიძლიათ დახუროს, რომ პროცენტული ახლოვდება, მაგრამ არასოდეს ტოლი 100% ნერვული ქსელის "უმოქმედო".

გრაფიკები აჩვენებს, რომ მოცემული ნერვული ქსელისთვის, მოცემულ გამოთვლით ბიუჯეტზე, არის ნერვული ქსელის ოპტიმალური რაოდენობა, რომელიც შეიძლება გამორთული იყოს სიზუსტის დონის მისაღწევად. იგივე ეკონომიკური წესი მართალია ყველა ახალი თაობის პერსონალური კომპიუტერისთვის: ან უკეთესი შედეგი ერთი და იგივე ფულისთვის, ან იგივე შედეგი ნაკლები ფულისთვის.

მოცემული ზომის ნერვული ქსელისთვის მთლიან პარამეტრებში, მოცემული რაოდენობის გამოთვლით, თქვენ გჭირდებათ ნაკლები და ნაკლები პარამეტრი, რომ მიაღწიოთ იგივე ან უკეთეს სიზუსტეს მოცემულ AI საორიენტაციო ტესტზე, როგორიცაა მათემატიკა ან კითხვაზე პასუხის გაცემა.

განათავსეთ სხვა გზა, როგორიც არ უნდა იყოს თქვენი გამოთვლითი ძალა, შეგიძლიათ სულ უფრო მეტად გამორთოთ ნერვული ქსელის ნაწილები და მიიღოთ იგივე ან უკეთესი შედეგები.

AI-ის ოპტიმიზაცია ნაკლები პარამეტრით

როგორც აბნარმა და გუნდმა ტექნიკური თვალსაზრისით განაცხადეს: "sparsity- ის გაზრდა, ხოლო პარამეტრების საერთო რაოდენობის პროპორციულად გაფართოება თანმიმდევრულად იწვევს უფრო დაბალ წინასწარ გადამზადების დაკარგვას, მაშინაც კი, როდესაც შეზღუდულია ფიქსირებული ტრენინგის გამოთვლითი ბიუჯეტით." ტერმინი "წინასწარი ზარალი" არის AI ტერმინი, თუ რამდენად ზუსტია ნერვული ქსელი. დაბალი ვარჯიშის დაკარგვა ნიშნავს უფრო ზუსტ შედეგებს.

ეს აღმოჩენა განმარტავს, თუ როგორ შეიძლება DeepSeek- ს ჰქონდეს ნაკლები გამოთვლითი ძალა, მაგრამ მიაღწიოს იგივე ან უკეთეს შედეგებს უბრალოდ ქსელის მეტი ნაწილის გამორთვით.

Sparsity ჰგავს ჯადოსნურ ციფერბლატს, რომელიც პოულობს საუკეთესო მატჩს თქვენი AI მოდელისა და ხელმისაწვდომი გამოთვლით.

იგივე ეკონომიკური წესი მართალია ყველა ახალი თაობის პერსონალური კომპიუტერისთვის: ან უკეთესი შედეგი ერთი და იგივე ფულისთვის, ან იგივე შედეგი ნაკლები ფულისთვის.

არსებობს კიდევ რამდენიმე დეტალი, რომელიც გასათვალისწინებელია DeepSeek- ის შესახებ. მაგალითად, კიდევ ერთი DeepSeek ინოვაცია, როგორც ეს განმარტებულია Epoch AI- ის Ege Erdil- ის მიერ, არის მათემატიკური ხრიკი, სახელწოდებით "მრავალთავიანი ლატენტური ყურადღება". სარეველების ძალიან ღრმად მოხვედრის გარეშე, მრავალთავიანი ლატენტური ყურადღება გამოიყენება მეხსიერებისა და გამტარუნარიანობის ერთ-ერთი უდიდესი მომხმარებლის შეკუმშვისთვის, მეხსიერების ქეში, რომელიც ფლობს მოთხოვნის ყველაზე ცოტა ხნის წინ შეყვანის ტექსტს.

Sparsity კვლევის მომავალი

დეტალები გარდა ამისა, ყველაზე ღრმა წერტილი ყველა ამ ძალისხმევის შესახებ არის ის, რომ sparsity როგორც ფენომენი არ არის ახალი AI კვლევაში და არც ეს არის ახალი მიდგომა ინჟინერიაში.

AI მკვლევარებმა მრავალი წლის განმავლობაში აჩვენეს, რომ ნერვული ქსელის ნაწილების აღმოფხვრამ შეიძლება მიაღწიოს შესადარებელ ან კიდევ უფრო უკეთეს სიზუსტეს ნაკლები ძალისხმევით.

Nvidia კონკურენტმა Intel - მა გამოავლინა sparsity , როგორც კვლევის მთავარი გზა, რათა შეცვალოს ხელოვნების მდგომარეობა სფეროში მრავალი წლის განმავლობაში. სტარტაპების მიდგომებმა, რომლებიც დაფუძნებულია sparsity- ზე, ასევე აღნიშნა მაღალი ქულები ინდუსტრიის ნიშნულებზე ბოლო წლებში.

sparsity ჯადოსნური აკრიფეთ არა მხოლოდ გაპარსვის გამოთვლითი ხარჯები, როგორც DeepSeek- ის შემთხვევაში. Sparsity ასევე მუშაობს სხვა მიმართულებით: მას შეუძლია უფრო ეფექტური AI კომპიუტერები.

sparsity ჯადოსნური აკრიფეთ ღრმაა, რადგან ის არა მხოლოდ აუმჯობესებს ეკონომიკას მცირე ბიუჯეტისთვის, როგორც DeepSeek- ის შემთხვევაში, არამედ ის მუშაობს სხვა მიმართულებით: დახარჯეთ მეტი და თქვენ მიიღებთ კიდევ უფრო უკეთეს სარგებელს sparsity- ის საშუალებით. როდესაც გამოთვლით ძალას ჩართავთ, AI მოდელის სიზუსტე უმჯობესდება, აბნარი და ნაპოვნი გუნდი.

მათ შემოგვთავაზეს: "როგორც sparsity იზრდება, ვალიდაციის დაკარგვა მცირდება ყველა გამოთვლითი ბიუჯეტისთვის, უფრო დიდი ბიუჯეტები მიაღწევს დაბალ ზარალს თითოეულ იშვიათობის დონეზე".

თეორიულად, შეგიძლიათ გააკეთოთ უფრო დიდი და დიდი მოდელები, უფრო დიდ და დიდ კომპიუტერებზე და მიიღოთ უკეთესი დარტყმა თქვენი buck.

ყველა ეს sparsity მუშაობა ნიშნავს, რომ DeepSeek არის მხოლოდ ერთი მაგალითი ფართო სფეროში კვლევა, რომ ბევრი ლაბორატორიები უკვე მიჰყვება -- და ბევრი სხვა ახლა ხტომა გაიმეოროს DeepSeek წარმატება.