আমি কিছু সময়ের জন্য আমার কম্পিউটারে একটি স্থানীয় এলএলএম-এ কাজ করছি। আমি যখন আমার ম্যাকে স্থানীয়ভাবে DeepSeek-R1 চালাই তখন এটি একটি শখ হিসাবে শুরু হয়েছিল এবং এখন এটি আমার কর্মপ্রবাহের একটি চমত্কার আশ্চর্যজনক অংশ।
আমি অ্যান্ড্রয়েডে প্রায় প্রতিটি জনপ্রিয় স্থানীয় AI অনুমান অ্যাপ চেষ্টা করেছি, এবং কর্মক্ষমতা সর্বদা সবচেয়ে বড় স্টিকিং পয়েন্ট হয়েছে। আপনি ইতিমধ্যে গুরুতর হার্ডওয়্যার সীমাবদ্ধতার সাথে কাজ করছেন কারণ, ওহ, এটি একটি ফোন। এটি সফ্টওয়্যার দিকটিকে একেবারে সমালোচনামূলক করে তোলে। এখানেই MNN চ্যাট বিলের সাথে পুরোপুরি ফিট করে।
MNN চ্যাট হল সেরা স্থানীয় এলএলএম অ্যাপ যা আমি কখনও চেষ্টা করেছি
আমি এখনও ওলামাকে অ্যান্ড্রয়েডে থাকতে চাই
MNN চ্যাট সম্পর্কে প্রথম আকর্ষণীয় বিষয় হল এটি আসলে আলিবাবা দ্বারা তৈরি একটি ওপেন সোর্স প্রকল্প। অনুমান ইঞ্জিনটি নিজেই বিশেষভাবে তৈরি করা হয়েছে মোবাইল হার্ডওয়্যারে দক্ষতার সাথে LLM চালানোর জন্য, অভিনব GPU-এর ঘণ্টা এবং শিস ছাড়াই। অ্যাপটি প্লে স্টোরে থাকলেও, আপনি তাদের গিটহাব পৃষ্ঠায় নিজের জন্য কোডটি দেখতে পারেন।
অ্যান্ড্রয়েডে স্থানীয় মডেল চালানোর জন্য আমি এখন পর্যন্ত পরীক্ষা করেছি এটাই সেরা পারফরম্যান্স। কিন্তু আপনি শুরু করার আগে, আপনাকে কিছু জিনিস জানতে হবে। শুরু করার জন্য, আপনার একটি মোটামুটি শক্তিশালী ফোন প্রয়োজন। আমি 12GB RAM সহ একটি Samsung Galaxy S24 Ultra-তে আমার সমস্ত মডেল চালিয়েছি, যা ফোনের মান অনুসারে অবশ্যই উচ্চতর।
আমি এখন ক্লাউড চ্যাটবটের পরিবর্তে এই অফলাইন এআই সহকারী ব্যবহার করি
এমনকি ক্লাউড-ভিত্তিক চ্যাটবটগুলির সাথেও, আমি সর্বদা এই অফলাইন এআই সহকারীটি ব্যবহার করব যা আমি পেয়েছি।
এটি বলেছে, এমনকি যদি আপনি আকার কমাতে চান, আমি এখনও ছোট মডেলের সাথে ব্যবহারযোগ্য অভিজ্ঞতা পেতে কমপক্ষে 8GB RAM বিনামূল্যে রাখার সুপারিশ করব। এটি অন্যান্য দরকারী অতিরিক্ত সঙ্গে লোড আসে. আপনি যদি নিশ্চিত না হন যে কোন মডেলটি চালানো হবে কারণ আপনি জানেন না কোনটি সবচেয়ে বেশি পারফর্ম করবে, তাহলে আপনাকে সিদ্ধান্ত নিতে সাহায্য করার জন্য একটি অন্তর্নির্মিত বেঞ্চমার্ক মোড রয়েছে৷
এমনকি আপনাকে ইন্টারনেটে কাজের মডেলগুলি অনুসন্ধান করতে হবে না। MNN চ্যাটে একটি অ্যাপ-মধ্যস্থ গ্যালারি রয়েছে যাতে আপনি অ্যাপটি না রেখে সরাসরি মডেলগুলি ধরতে এবং ডাউনলোড করতে পারেন৷
আপনি মডেলের একটি সম্পূর্ণ অস্ত্রাগার পাবেন, যেতে প্রস্তুত
নিজেকে মডেল ডাউনলোড করার প্রয়োজন নেই
MNN চ্যাট সেট আপ করা আসলে খুব সহজ। আপনাকে যা করতে হবে তা হল অ্যাপটি খুলুন এবং মডেল মার্কেটে যেতে হবে। এখানে, আপনি উপলব্ধ মডেলগুলির একটি সম্পূর্ণ তালিকা দেখতে পাবেন যা আপনি আলিঙ্গন মুখের মাধ্যমে ডাউনলোড করতে পারেন। যদি আপনি না জানেন যে আলিঙ্গন মুখ কি, এটি মূলত ওপেন-সোর্স এআই মডেলের বৃহত্তম সংগ্রহস্থলগুলির মধ্যে একটি।
এখানে, আপনাকে যা করতে হবে তা হল আপনি যে মডেলটি চান তার পাশে ডাউনলোড এ আলতো চাপুন এবং ডাউনলোড শেষ হলে এটি ব্যবহার করার জন্য প্রস্তুত হয়ে যাবে। সত্যিই চতুর অংশ কোনটি বেছে নিতে হবে তা নির্ধারণ করছে।
এই মডেলগুলি কয়েকশ মেগাবাইট থেকে কয়েক গিগাবাইট পর্যন্ত হতে পারে। আপনার কাছে প্রচুর বিনামূল্যের সঞ্চয়স্থান রয়েছে তা নিশ্চিত করা মূল্যবান, বিশেষ করে যদি আপনি বড় মডেলগুলি ডাউনলোড করার বা একাধিক মডেল ইনস্টল করার পরিকল্পনা করেন৷
তালিকায়, আপনি Kwen, DeepSeek, বা Llama এর মত অনেক পরিচিত নাম দেখতে পাবেন। একটি জিনিস আপনি এখনই লক্ষ্য করবেন তা হল প্রতিটি মডেলের নামের সাথে একটি B এর পরে একটি সংখ্যা রয়েছে, যেমন Gemma-7B।
যে B বিলিয়ন প্যারামিটার প্রতিনিধিত্ব করে। সহজ কথায়, যত বেশি সংখ্যা, মডেলটি তত বেশি সক্ষম, তবে এটি আরও মেমরি গ্রহণ করে এবং ফোনে ধীর গতিতে চলে। বেশিরভাগ মিড-রেঞ্জ বা ফ্ল্যাগশিপ স্মার্টফোনের জন্য, আমি 4B প্যারামিটার পর্যন্ত মডেলগুলি ব্যবহার করার পরামর্শ দেব, তবে এটি সত্যিই আপনার ফোনের উপর নির্ভর করবে। আমার অভিজ্ঞতায়, কুইনের মডেলগুলি সামগ্রিকভাবে সেরা এবং মাল্টি-মডেলও।
একবার এটি ডাউনলোড হয়ে গেলে, আপনি সহজভাবে যেতে পারেন আমার মডেলএবং এর সাথে চ্যাট শুরু করুন। আপনি উপরের ডানদিকে হ্যামবার্গার মেনুতে ক্লিক করে এবং সেটিংস > সিস্টেম প্রম্পটে গিয়ে সিস্টেম প্রম্পট পরিবর্তন করতে পারেন।
আপনি এখানে সর্বাধিক সংখ্যক নতুন টোকেন পরিবর্তন করতে পারেন, যা পাঠ্য তৈরি করা বন্ধ করার আগে মডেলের প্রতিক্রিয়া কতক্ষণ স্থায়ী হতে পারে তা নিয়ন্ত্রণ করে।
এটা শুধু এলএলএম এর চেয়েও বেশি কিছু
টেক্সট জেনারেশন হল 2025
মডেল মার্কেটের অভ্যন্তরে, আপনি লক্ষ্য করেছেন যে চিত্র তৈরি, অডিও, ভিডিও এবং আরও অনেক কিছুর জন্য বিভিন্ন বিভাগ রয়েছে। এটা ঠিক কি এটা মত শোনাচ্ছে. আপনি এমন মডেলগুলি ডাউনলোড এবং চালাতে পারেন যা কেবলমাত্র পাঠ্য তৈরির চেয়েও বেশি কিছু করে, মাল্টিমডেল মডেলগুলি সহ যা চিত্রগুলির সাথেও কাজ করতে পারে৷
চ্যাটজিপিটি-এর ভয়েস মোডের মতো কিছু পাওয়ার জন্য আপনি এটির সাথে একটি দুর্দান্ত জিনিস করতে পারেন যা বিভিন্ন মডেলকে সংহত করা। এলএলএম চালানোর সময়, আপনি হয়তো লক্ষ্য করেছেন যে উপরের ডানদিকে একটি ফোন আইকন রয়েছে।
এখান থেকে আপনাকে আপনার পছন্দের টেক্সট-টু-স্পীচ মডেলটি ডাউনলোড করতে হবে। আপনার একটি ASR মডেলেরও প্রয়োজন হবে যা আপনার বক্তৃতাকে পাঠ্যে রূপান্তর করে। এর পরে, সবকিছু সেট আপ করা হয়েছে, এবং আপনি ভয়েসের মাধ্যমে আপনার স্থানীয় LLM-এর সাথে কথা বলা শুরু করতে পারেন৷
যাইহোক, মনে রাখবেন যে এই সমস্ত মডেলগুলি দ্রুত অনেক জায়গা খাওয়া শুরু করে, যেমনটি আমি আগে উল্লেখ করেছি। আপনি যদি এমন একটি মডেল ব্যবহার করতে চান যা HuggingFace-এ উপলব্ধ নয়, আপনি নিজে এটি ADB-এর মাধ্যমে আমদানি করতে পারেন৷
আমি ওবসিডিয়ানকে একটি স্থানীয় এলএলএম-এর সাথে সংযুক্ত করেছি এবং এটি নোটবুকএলএমকে তার নিজস্ব গেমে হারায়
আমার নোট এখন কথা বলে এবং অত্যন্ত দরকারী.
আপনি আপনার প্রত্যাশা পরিচালনা করতে হবে
এটা বলার অপেক্ষা রাখে না, স্পষ্টতই, চ্যাটজিপিটি বা মিথুনের গুণমানের আশা করবেন না, বিশেষ করে ছবি তৈরির মতো জিনিসগুলির জন্য। এখানে প্রধান সুবিধা হল আপনি কোনো ইন্টারনেট সংযোগ ছাড়াই স্থানীয়ভাবে এই মডেলগুলি চালাতে পারেন এবং আপনার ডেটা আপনার ডিভাইসে থেকে যায়৷ অন্যান্য অনেক ওপেন সোর্স স্থানীয় LLM অ্যাপ রয়েছে যেগুলি আপনি আপনার অভিজ্ঞতা উন্নত করতে ব্যবহার করতে পারেন।
দুর্ভাগ্যবশত, ফোনের মতো একটি ছোট জিনিসে বিশাল মডেল চালানো অসম্ভব। কিন্তু তবুও, এই কৌশলটি দিয়ে আপনি অনেক কিছু করতে পারেন, যেমন স্থানীয় এলএলএম-এর সাথে পারপ্লেক্সিটি ক্লোন তৈরি করা।
