ჩემს MacBook- ზე ადგილობრივად DeepSeek- ის გაშვება შოკისმომგვრელი კარგია

შეჯამება

• LM Studio გთავაზობთ მარტივ მეთოდს DeepSeek მოდელების გასაშვებად MacBook- ზე.
• უფრო დიდი DeepSeek მოდელების გაშვების უნარი დამოკიდებულია თქვენი Mac- ის სპეციფიკაციებზე, განსაკუთრებით მის RAM სიმძლავრეზე.
• მიუხედავად იმისა, რომ DeepSeek მოდელები შეიძლება არ შეესაბამებოდეს ChatGPT დაზვერვაში, ისინი მაინც ჭკვიანი და სასარგებლოა ყოველდღიური ამოცანებისთვის.

DeepSeek არის ახალი AI ჩინეთიდან, რომელიც ხელოვნური ინტელექტის ინდუსტრიასა და ბაზარზე საკმაოდ დიდი აჟიოტაჟის მიზეზია. მიუხედავად იმისა, რომ ყურადღების უმეტესი ნაწილი დიდ ChatGPT- ის ცემის მოდელზე გადავიდა, არსებობს სხვადასხვა DeepSeek მოდელები, რომლებიც ჩვეულებრივ კომპიუტერზე იმუშავებს და ჩემს Mac- ზე შედეგები შთამბეჭდავია.

როგორ მივიღოთ DeepSeek გაშვებული Mac- ზე

DeepSeek- ის გაშვების ორი გზა არსებობს თქვენს Mac- Ollama ( Docker ინტერფეისით) ან LM სტუდიაში. მე შევეცადე ორივე, მაგრამ LM Studio მეთოდი ბევრად უფრო ადვილია.

პირველი, გადადით LM Studio ჩამოტვირთვის საიტზე და ჩამოტვირთეთ და დააინსტალირეთ პროგრამა. რჲდაგა ბწდაი. თქვენ ნახავთ ამ საბორტო ეკრანზე პირველად აპის გაშვებას. ამ შემთხვევაში ჩვენ გთავაზობთ DeepSeek მოდელს 7B პარამეტრებით და ეს შესანიშნავი ადგილია დასაწყებად. თუმცა, მე მინდა უფრო დიდი მოდელის გაშვება, ასე რომ, ახლა ჩვენ ვირჩევთ "გამოტოვეთ ბორტზე".

მას შემდეგ, რაც ჩვენ არ გვაქვს მოდელები დატვირთული, ჩაწერეთ "DeepSeek" საძიებო ველში LM Studio ფანჯრის ზედა ნაწილში და დააჭირეთ Enter.

მე ვეძებდი "DeepSeek 14B", რომელიც არის ყველაზე დიდი მოდელი, რომელსაც ჩემი MacBook შეუძლია გონივრულად აწარმოოს. თქვენ გექნებათ მთელი რიგი ვარიანტები, რომელთაგან ბევრი საზოგადოების მიერ არის მორგებული. აირჩიეთ რომელი მოგწონთ და დააჭირეთ ღილაკს "ჩამოტვირთვა".

მას შემდეგ, რაც მოდელმა დაასრულა ჩამოტვირთვა, კვლავ დააჭირეთ საძიებო ზოლს LM Studio ფანჯრის ზედა ნაწილში და ნახავთ თქვენს მიერ ჩამოტვირთულ მოდელებს.

მისი არჩევის შემდეგ, თქვენ ნახავთ მოდელის პარამეტრებს. ამ დროისთვის, უბრალოდ გადადით ნაგულისხმევი პარამეტრებით. დააჭირეთ ღილაკს "ჩატვირთვის მოდელი" და ჩვენ მზად ვართ დავიწყოთ LLM კითხვის დასმა.

ჩემი Mac სპეციფიკაციები

DeepSeek- ის ნებისმიერი მოდელის გამოსადეგი სიჩქარით გაშვება დამოკიდებულია თქვენი MacBook- ის სპეციფიკაციებზე. ჩემს შემთხვევაში, მე ვიყენებ M4 MacBook Pro- ს, M4 Pro ჩიპით და 24 გბ ოპერატიული მეხსიერებით. RAM რაოდენობა გადამწყვეტია, რადგან მთელი მოდელი უნდა მოთავსდეს თქვენს GPU მეხსიერებაში, რომ სწორად იმუშაოს, ან მინიმუმ გამოსადეგი სიჩქარით.

სწორედ ამიტომ, მე შემიძლია 14B მოდელის გაშვება, რადგან ის ადვილად ჯდება 24 გბ ოპერატიული მეხსიერებაში, მაგრამ თუ იყენებთ 8 GB Mac- ს, თქვენ შემოიფარგლებით 7B ან პატარა მოდელებით და მაშინაც კი, ყველაფერი შეიძლება კარგად არ აწარმოოს. რა თქმა უნდა, არ არსებობს ზიანი თქვენს Mac- ზე რაიმე მოდელის მოსინჯვისას. ყველაზე უარესი, რაც შეიძლება მოხდეს, არის ის, რომ ის კარგად ან საერთოდ არ იმუშავებს, მაგრამ ეს შეიძლება მაინც იყოს საკმარისი თქვენი საჭიროებებისთვის.

DeepSeek 14B- ის შედარება ChatGPT o3 მინი

ასე რომ, რამდენად კარგად მუშაობს ეს? იდეის გაცემის უმარტივესი გზაა იგივე მოთხოვნების მიცემა DeepSeek 14B- ზე, რომელიც მუშაობს ჩემს Mac- სა და ChatGPT o3 Mini- ზე.

აქ არის პირველი მოთხოვნა:

დაწერეთ მოკლე სამოტივაციო წერილი, როგორც მიკი მაუსი, რომელიც ითხოვს სამუშაოს მაუსტრაპის ქარხანაში.

აქ არის შედეგები.

ორივე მოდელმა შექმნა კოგენტი, გრამატიკულად სწორი შედეგები, მაგრამ 03 მინი აშკარად გააკეთა ბევრად უკეთესი სამუშაო, როდესაც საქმე ეხება მიკი მაუსის პერსონაჟის განსახიერებას.

შემდეგ მე ვკითხე:

ამიხსნა მზის ენერგია მე -5 კლასის დონეზე.

შედეგები ორივე ღირსეულია, მაგრამ o3 მინი ვერსია უკეთესია დაწერილი, ჩემი აზრით.

ჩვენ შეგვიძლია ამის გაკეთება მთელი დღის განმავლობაში, და მე მაქვს! ჩემი საერთო შთაბეჭდილება ის არის, რომ ეს 14B მოდელი, ყოველ შემთხვევაში, ისეთივე კარგია, როგორც ChatGPT იყო, როდესაც ის პირველად გამოვიდა საზოგადოებისთვის.

თუმცა, o3 Mini- თან შედარებით, ეს აშკარად არ არის ისეთი ჭკვიანი. ამასთან, საკმარისად ჭკვიანია ყველაფრის გაკეთება, რაც მოხარული ვიყავი, რომ ვთხოვე ორიგინალ ChatGPT- ს გაკეთება და იმის გათვალისწინებით, რომ ის ადგილობრივად მუშაობს ჩემს პატარა ლეპტოპზე, ეს უზარმაზარი ნახტომია წინ. მაშინაც კი, თუ ჩემს კითხვებზე პასუხის გაცემას ათჯერ მეტი დრო სჭირდება, უმეტეს შემთხვევაში ის მაინც ერთ წუთზეა. რა თქმა უნდა, თქვენი GPU სპეციფიკაციები გავლენას მოახდენს ამ ამა თუ იმ გზით.

ზოგიერთი რამ, რაც უნდა გახსოვდეთ

ახლა, მიუხედავად იმისა, რომ მე ვურჩევ ვინმეს, რომ სცადონ DeepSeek- ის ადგილობრივი ვერსია, რომელიც არ ჩაწერს თქვენს პირად მონაცემებს სერვერებზე სადღაც ჩინეთში, არსებობს რამდენიმე რამ, რაც უნდა გახსოვდეთ.

პირველ რიგში, გაითვალისწინეთ რომელი მოდელი იყენებთ. DeepSeek- ის უკვე ბევრი შესწორებული ვერსიაა და ზოგი უკეთესი ან უარესი იქნება თქვენი მიზნებისათვის. მეორე, უცხიმო DeepSeek მოდელი, რომელიც რეალურად კონკურენციას უწევს საუკეთესო ChatGPT მოდელებს, არის 671B მონსტრი, რომელსაც სჭირდება უზარმაზარი კომპიუტერული სისტემა ასობით მბ ოპერატიული მეხსიერებით სამუშაოდ. ეს პატარა 7B და 14B მოდელები არსად არის ჭკვიანი, და ასე უფრო მიდრეკილია სისულელეების წარმოქმნისკენ.

არსებობს მრავალი შესანიშნავი მიზეზი, რომ აწარმოოთ ერთ-ერთი ასეთი LLM ადგილობრივად, მაგრამ არ მოხვდეთ ხაფანგში, რომ, რადგან ონლაინ ვერსიები ჭკვიანი და ზუსტია, ეს პატარა მოდელები იქნება სადმე ახლოს, როგორც კარგი. მიუხედავად ამისა, ეს უფრო მეტია, ვიდრე უბრალოდ ცნობისმოყვარეობა. მე, ერთისთვის, დავტოვებ DeepSeek- ს ჩემს Mac- ზე, რადგან მაშინაც კი, თუ ის ათჯერ ნელი და ათჯერ ნაკლებად ინტელექტუალურია, ვიდრე საუკეთესო მონაცემთა ცენტრის AIs, ეს ჯერ კიდევ უამრავი ჭკვიანია იმისთვის, რაც ადამიანების უმეტესობას სჭირდება LLM.