Microsoft-ის AI მოდელი აჭარბებს ადამიანებს ბუნებრივი ენის გაგებაში

Microsoft-მა სამშაბათს გამოაცხადა, რომ მისმა AI მოდელმა გადააჭარბა ადამიანებს ბუნებრივი ენის გაგებაში (NLU) SuperGLUE ნიშნულებით.

Microsoft-ის თანახმად, ბუნებრივი ენის გაგება (NLU) არის ერთ-ერთი ყველაზე გრძელი მიზანი AI-ში (ხელოვნური ინტელექტი) და SuperGLUE ამჟამად NLU მოდელების შეფასების ყველაზე რთულ ნიშნულებს შორისაა.

SuperGLUE საორიენტაციო ნიშანი შედგება NLU ამოცანების ფართო სპექტრისგან, მათ შორის კითხვაზე პასუხის გაცემა, ბუნებრივი ენის დასკვნა, თანარეფერენტული რეზოლუცია, სიტყვის გრძნობის მრავალმნიშვნელობის და სხვა. Redmond ტექნიკური გიგანტი მიიღო მიზეზობრივი მსჯელობის ამოცანა, როგორც მაგალითი.

იმის გათვალისწინებით, რომ "ბავშვი დაზღვეულ იქნა დაავადებისგან" და კითხვაზე "რა არის ამის მიზეზი?", მოდელს სთხოვენ აირჩიონ პასუხი ორი დამაჯერებელი კანდიდატისგან: 1) "მან თავი აარიდა დაავადების ზემოქმედებას" და 2) "მან მიიღო ვაქცინა დაავადებისთვის. "

მიუხედავად იმისა, რომ ადამიანისთვის ადვილია სწორი პასუხის არჩევა, ეს რთულია AI მოდელისთვის. სწორი პასუხის მისაღებად, მოდელმა უნდა გააცნობიეროს მიზეზობრივი ურთიერთობა წინაპირობასა და იმ დამაჯერებელ ვარიანტებს შორის.

საორიენტაციო ნიშნების უკეთ დასამუშავებლად, Microsoft- მა განაახლა DeBERTa (Decoding-enhanced BERT with Disentangled Attention) მოდელი უფრო დიდი ვერსიის გადამზადებით, რომელიც შედგება 48 ტრანსფორმატორის ფენისგან 1.5 მილიარდი პარამეტრით.

DeBERTa არის ტრანსფორმატორზე დაფუძნებული ნერვული ენის მოდელი, რომელიც გაწვრთნილია დიდი რაოდენობით ნედლეული ტექსტის კორპორაზე თვითკონტროლირებული სწავლის გამოყენებით. სხვა PLM- ების მსგავსად, DeBERTa მიზნად ისახავს ისწავლოს უნივერსალური ენის წარმომადგენლობები, რომლებიც შეიძლება მოერგოს NLU- ს სხვადასხვა ქვემოთ დავალებებს.

DeBERTa მოდელი AI ახლა 89.9 ქულა SuperGLUE პირველად მაკრო საშუალო ქულის თვალსაზრისით, ხოლო ანსამბლის მოდელი 3.2 მილიარდი პარამეტრით 90.3 აჭარბებს ადამიანის საბაზისო ხაზს ღირსეული ზღვარით (90.3 წინააღმდეგ 89.8). მოდელი ასევე ზის GLUE საორიენტაციო რეიტინგის სათავეში, მაკრო-საშუალო ანგარიშით 90.8.

ეს არ არის პირველი შემთხვევა, როდესაც AI მოდელმა გადააჭარბა ადამიანის საბაზისო ხაზებს. Google-ის 11 მილიარდი პარამეტრი "T5 + Meena" მოდელმა 5 იანვარს 90.2 ქულით გადააჭარბა ადამიანის საბაზისო მაჩვენე პირველს, რაც Microsoft-ის DeBERTa-ს მოდელმა 6 იანვარს გადააჭარბა.

Microsoft აერთიანებს DeBERTa- ს Microsoft Turing ბუნებრივი ენის წარმომადგენლობის მოდელის შემდეგ ვერსიაში (Turing NLRv4). მოდელი გაწვრთნილი იქნება ფართო მასშტაბით ისეთი პროდუქტების მხარდასაჭერად, როგორიცაა Bing, Office, Dynamics და Azure Cognitive Services, რაც ხელს შეუწყობს სცენარების ფართო სპექტრს, რომლებიც მოიცავს ადამიანის მანქანას და ადამიანურ-ადამიანურ ურთიერთქმედებას ბუნებრივი ენის საშუალებით (როგორიცაა ჩეთბოტი, რეკომენდაცია, კითხვაზე პასუხის გაცემა, ძებნა, პირადი დახმარება, მომხმარებელთა მხარდაჭერის ავტომატიზაცია, შინაარსის წარმოება და სხვა), რათა ისარგებლოს ასობით მილიონი მომხმარებელი Microsoft AI- ის საშუალებით Scale ინიციატივის საშუალებით.

Microsoft- ის თანახმად, Google- ის T5 მოდელთან შედარებით, რომელიც შედგება 11 მილიარდი პარამეტრისგან, 1.5 მილიარდი პარამეტრი DeBERTa ბევრად უფრო ენერგოეფექტურია ვარჯიშისა და შენარჩუნებისთვის, და უფრო ადვილია შეკუმშვა და განლაგება სხვადასხვა პარამეტრების აპებში.

"DeBERTa აჭარბებს ადამიანის მუშაობას SuperGLUE- ზე მნიშვნელოვანი ეტაპია ზოგადი AI- ისკენ. SuperGLUE- ზე პერსპექტიული შედეგების მიუხედავად, მოდელი არავითარ შემთხვევაში არ აღწევს NLU- ს ადამიანის დონის დაზვერვას. ადამიანები ძალიან კარგად იყენებენ სხვადასხვა ამოცანებიდან მიღებული ცოდნის გამოყენებას ახალი ამოცანის გადასაჭრელად, ან მცირე დავალების სპეციფიკური დემონსტრაციით. ამას მოიხსენიებენ როგორც კომპოზიციური განზოგადება, ნაცნობი შემადგენლების ახალი კომპოზიციების (ახალი ამოცანების) განზოგადების შესაძლებლობა (ქვეტყორცნები ან პრობლემის გადაჭრის ძირითადი უნარები). წინ მიიწევს, ღირს იმის შესწავლა, თუ როგორ უნდა მოხდეს DeBERTa კომპოზიციური სტრუქტურების უფრო მკაფიოდ გაერთიანება, რაც საშუალებას მისცემს ბუნებრივი ენის ნერვული და სიმბოლური გამოთვლითი გზით გაერთიანდეს ", — დასძინა კომპანიამ.

Microsoft-მა გამოუშვა 1.5 მილიარდი პარამეტრი DeBERTa მოდელი და წყაროს კოდი საზოგადოებისთვის.