Google-ის ახალი Infini-attention ტექნიკა საშუალებას გაძლევთ შეიყვანოთ უსასრულო ტექსტი LLM-ებში

ტექნიკას შეუძლია გზა გაუხსნას აშკარად მომხიბლავი AI განხორციელებისთვის.

დღევანდელ დიდ ენობრივ მოდელებს (LLM) აქვთ შეზღუდვები იმის შესახებ, თუ რამდენი ინფორმაცია შეგიძლიათ შეიყვანოთ, სანამ შედეგს მოგცემთ. Google-მა გამოაქვეყნა ამის შეცვლის გზა: მეთოდი, რომელიც საშუალებას აძლევს LLM-ებს მიიღონ ტექსტის უსასრულო რაოდენობა. ტექნიკა, სახელად Infini-attention, მუშაობს მეხსიერებისა და გამოთვლითი სიმძლავრის შეწირვის გარეშე, რაც ქმნის უფრო ეფექტურ და პოტენციურად გავლენიან LLM შედეგს.

"ეფექტური მეხსიერების სისტემა გადამწყვეტია არა მხოლოდ LLM-ებთან ხანგრძლივი კონტექსტის გასაგებად, არამედ მსჯელობისთვის, დაგეგმვისთვის, მუდმივი ადაპტაციისთვის ახალი ცოდნისთვის და თუნდაც ვისწავლოთ როგორ ვისწავლოთ", - წერენ ავტორები თავიანთ განცხადებაში თანმხლებ კვლევით ნაშრომში.

კონტექსტური ფანჯრები თამაშობენ ცენტრალურ როლს LLM-ების ფუნქციონირებაში და ამ სტატიის დაწერის დღიდან ყველა პოპულარულ AI მოდელს, მათ შორის OpenAI-ს GPT-4 და Anthropic-ის Claude 3-ს, აქვს სასრული კონტექსტური ფანჯარა. მაგალითად, Claude 3 იძლევა 200 000-მდე ჟეტონს ან ალფანუმერულ სიმბოლოს ერთ მოთხოვნაში. GPT-4-ის კონტექსტური ფანჯარა იძლევა 128000 ჟეტონს.

კონტექსტური ფანჯარა ძალიან მნიშვნელოვანია LLM-ებისთვის. რაც უფრო მეტი ნიშანია დასაშვები კონტექსტური ფანჯარაში, მით მეტი მონაცემის შეყვანა შეუძლიათ მომხმარებლებს სასურველი შედეგის შესაქმნელად. ამიტომ LLM შემქმნელები ცდილობენ გაზარდონ ტოკენების რაოდენობა ყოველი ახალი გამეორებით, რათა მათი მოდელები უფრო ეფექტური გახადონ სწავლაში, გაგებაში და შედეგების მიწოდებაში.

თუმცა, ამისთვის ტექნიკურ კომპანიებს მეხსიერებისა და გამოთვლითი მოთხოვნების დაკმაყოფილება სჭირდებათ. LLM-ის კონტექსტური ფანჯრის ყოველი გაორმაგებით, მეხსიერების და გამოთვლითი მოთხოვნები იზრდება ოთხჯერ, წერენ Google-ის მკვლევარები. მეხსიერების და გამოთვლითი სიმძლავრის ყოველი მატება, ბუნებრივია, არ არის მხოლოდ რესურსი ინტენსიური, არამედ ძალიან ძვირი.

Google-ის Infini-ყურადღება წყვეტს ამ პრობლემას არსებული მეხსიერების და გამოთვლითი მოთხოვნების გამოყენებით. როდესაც მკვლევარებმა შეიტანეს დამატებითი დეტალები კონტექსტურ ფანჯარაში, მათ მიერ ტესტირებული მოდელების შეზღუდვების მიღმა, მათ გადაიტანეს ყველა მონაცემი ზღვრამდე, რასაც ეწოდება "კომპრესიული მეხსიერება" და ამოიღეს იგი აქტიური მეხსიერებიდან, რომელიც შემდეგ გაათავისუფლეს დამატებითი კონტექსტი. ყველა მონაცემის შეყვანის შემდეგ, მოდელმა შეძლო კომპრესიული მეხსიერების დაწყვილება მის აქტიურ მეხსიერებაში არსებულ ყველა შეყვანასთან, რათა პასუხი მიეწოდებინა. ეს ტექნიკა საშუალებას აძლევს "არსებული LLM-ების ბუნებრივ გაფართოებას უსასრულოდ გრძელ კონტექსტში მუდმივი წინასწარი ვარჯიშისა და დახვეწის გზით", - წერენ მკვლევარები.

თავიანთ მოდელებში იმდენი კონტექსტის ჩასმის უნარით, მკვლევარებმა შეადარეს თავიანთი Infini-ყურადღების ტექნიკა არსებულ LLM-ებთან და დაადგინეს, რომ მათი ვარიანტი უკეთესი იყო. „ჩვენს მიდგომას შეუძლია ბუნებრივად გაფართოვდეს შეყვანის თანმიმდევრობების სიგრძის რეჟიმამდე, თუმცა აჯობებს საბაზისო ხაზებს გრძელი კონტექსტური ენის მოდელირების საორიენტაციო და წიგნის შეჯამების ამოცანებში“, - წერენ მკვლევარები.

მკვლევარებმა არ გაუზიარეს თავიანთი მონაცემები და არ დაამტკიცეს, რომ მათი მეთოდი მართლაც უკეთესად მუშაობს, ვიდრე არსებული მოდელები. თუმცა, საფუძვლიანია, რომ თუ მათ შეუძლიათ აღმოფხვრას კონტექსტური ფანჯრის შეზღუდვები, ამ ტექნიკით აღჭურვილი მოდელები უნდა აღემატებოდეს მათ, რომლებსაც აქვთ ლიმიტები.

Google-ის ტექნიკას შეუძლია გზა გაუხსნას LLM-ის მუშაობის დრამატულ გაუმჯობესებას, რაც კომპანიებს საშუალებას მისცემს შექმნან ახალი აპლიკაციები, შექმნან დამატებითი ინფორმაცია და სხვა. თუმცა, ჯერჯერობით, Infini-ყურადღება არის წმინდა კვლევა. გაურკვეველია გაივლის თუ არა ეს ტექნიკა ფართოდ ხელმისაწვდომი LLM-ებისკენ.