Google-ის ახალ AI ინსტრუმენტს შეუძლია ტექსტი მუსიკად აქციოს
Google- მა ცოტა ხნის წინ გამოაცხადა, რომ მან შეიმუშავა ახალი ხელოვნური ინტელექტის (AI) მუსიკალური გენერატორი, რომელსაც შეუძლია შექმნას მუსიკა ნებისმიერ ჟანრში ტექსტის აღწერით.
ხუთშაბათს გამოქვეყნებულ კვლევით ნაშრომში, Google- ის მკვლევარებმა წარმოადგინეს მუსიკის შექმნის AI ინსტრუმენტი, სახელწოდებით "MusicLM", როგორც მოდელი, რომელიც ქმნის მაღალი ერთგულების მუსიკას ტექსტური აღწერილობებიდან, როგორიცაა "დამამშვიდებელი ვიოლინო მელოდია, რომელსაც მხარს უჭერს დამახინჯებული გიტარის რიფი".
MusicLM აყენებს პირობითი მუსიკის წარმოების პროცესს, როგორც იერარქიული თანმიმდევრობით თანმიმდევრობის მოდელირების ამოცანას და "ქმნის მუსიკას 24 კჰც-ზე, რომელიც რამდენიმე წუთის განმავლობაში თანმიმდევრული რჩება. ”
გარდა ამისა, AI ხელსაწყოს შეუძლია აწარმოოს "ორიგინალური" მუსიკა როგორც ტექსტიდან, ასევე ხმოვანი მოთხოვნილებებიდან 5 წუთის განმავლობაში ტექსტიდან და აუდიტორული მინიშნებებიდან. MusicLM გაწვრთნილი იყო მონაცემთა ბაზაში, რომელიც შედგება 2,80,000 საათზე მეტი მუსიკისგან, რათა ისწავლოს როგორ შექმნას თანმიმდევრული სიმღერები ნებისმიერი სასურველი ჟანრის აღწერილობისთვის.
"ჩვენი ექსპერიმენტები აჩვენებს, რომ MusicLM აჭარბებს წინა სისტემებს როგორც აუდიო ხარისხში, ასევე ტექსტის აღწერილობის დაცვაში. უფრო მეტიც, ჩვენ ვაჩვენებთ, რომ MusicLM შეიძლება იყოს განპირობებული როგორც ტექსტზე, ასევე მელოდიაზე, რომ მას შეუძლია გარდაქმნას სასტვენი და hummed მელოდიები ტექსტის წარწერაში აღწერილი სტილის მიხედვით", - ნათქვამია ნაშრომში.
კვლევითი ნაშრომის თანახმად, MusicLM-ს შეეძლო სიმღერების შექმნა უხვად დაწერილი წარწერებიდან, როგორიცაა:
არკადული თამაშის მთავარი საუნდტრეკი. ეს არის სწრაფი ტემპით და upbeat, ერთად catchy ელექტრო გიტარა riff. მუსიკა განმეორებადი და ადვილად დასამახსოვრებელია, მაგრამ მოულოდნელი ბგერებით, როგორიცაა ციმბალის ავარია ან დრამის რულონები.
ან
"სიუჟეტის რეჟიმის" საშუალებით, სადაც აუდიო წარმოიქმნა მოკლე ტექსტური მოთხოვნების თანმიმდევრობით, მათ შორის:
- ფიქრის დრო (0:00-0:15), გაღვიძების დრო (0: 15-0:30), გაშვების დრო (0:30-0:45), დრო, რომ 100% (0:45-0:60)
- ელექტრონული სიმღერა ითამაშა ვიდეოთამაშში (0:00-0:15), მედიტაციის სიმღერა ითამაშა მდინარის გვერდით (0:15-0:30), ცეცხლი (0:30-0:45), ფეიერვერკი (0:45-0:60)
Google-ის MusicLM-ს ასევე შეუძლია შექმნას მუსიკალური კლიპები, რომლებიც იპყრობს განწყობას და ატმოსფეროს ნახატებიდან - განსაკუთრებით ხელოვნების სამყაროს ზოგიერთი ყველაზე ცნობილი ნამუშევრის აღწერიდან - მათ შორის ედვარდ მუნჩის "ყვირილი" და სალვადორ დალის ცნობილი "მეხსიერების არსებობა".
შეგიძლიათ გადახვიოთ Google-ის GitHub გვერდზე, რათა მოუსმინოთ MusicLM-ის მიერ წარმოქმნილ ზოგიერთ მუსიკალურ ტრეკს.
მომავალი კვლევის მხარდასაჭერად, Google- მა უკვე გამოუშვა MusicCaps, მონაცემთა ბაზა, რომელიც შედგება 5.5k მუსიკა-ტექსტის წყვილისგან, ადამიანის ექსპერტების მიერ მოწოდებული მდიდარი ტექსტის აღწერილობებით.
მიუხედავად ამისა, ნუ ელით, რომ MusicLM ხელმისაწვდომი იქნება საზოგადოებისთვის მომავალში ნებისმიერ დროს, რადგან არსებობს უამრავი შეშფოთება, რომელთა მოგვარებაც საჭიროა საჯაროდ გამოქვეყნებამდე.
Google- ის მკვლევარების აზრით, AI ინსტრუმენტს აქვს არსებული შეზღუდვები, რაც მოიცავს პროგრამირების მიკერძოებას, რამაც შეიძლება გამოიწვიოს წარმომადგენლობისა და კულტურული მითვისების ნაკლებობა, ვოკალური ხარისხი და ტექნოლოგიური ხარვეზები, ასევე უარყოფისა და დროებითი შეკვეთის გამოყენება, რომელიც გამოიყენება ტექსტურ მოთხოვნებში.
სინამდვილეში, ექსპერიმენტის დროს, Google- ის მკვლევარებმა გაარკვიეს, რომ MusicLM- ის მიერ შექმნილი მუსიკალური მაგალითების დაახლოებით ერთი პროცენტი გადაწერილი იყო უშუალოდ იმ სიმღერებიდან, რომლებიც გაწვრთნილი იყო საავტორო უფლებების პრობლემების ამაღლებაზე.
"ჩვენ ვაღიარებთ გამოყენების შემთხვევასთან დაკავშირებული შემოქმედებითი შინაარსის პოტენციური მითვისების რისკს. ჩვენ მტკიცედ ხაზს ვუსვამთ უფრო სამომავლო მუშაობის საჭიროებას მუსიკის წარმოებასთან დაკავშირებული ამ რისკების დასაძლევად - ამ ეტაპზე მოდელების გამოშვებას არ ვგეგმავთ", - ნათქვამია კვლევაში.