আমি প্রায় এক বছর ধরে Perplexity AI Pro এর জন্য মাসিক $20 প্রদান করছি। এটি যুক্তিসঙ্গত বলে মনে হয়েছিল কারণ আমি রিয়েল-টাইম ওয়েব অনুসন্ধান, উদ্ধৃত উত্স এবং একটি পরিশীলিত ওয়েব ইন্টারফেস পেয়েছি যা গবেষণাকে সহজ করে তোলে। কিন্তু এমন অ্যাপ রয়েছে যেগুলি যে কাউকে স্থানীয় LLM-এর সুবিধাগুলি উপভোগ করতে দেয়, আমি দেখেছি যে আমি আমার বেশিরভাগ কাজের জন্য স্থানীয় LLM দিয়ে আমার বিভ্রান্তি প্রতিস্থাপন করতে পারি।
এটি ক্লাউড পরিষেবাগুলির সম্পূর্ণ প্রত্যাখ্যান নয়। বিভ্রান্তি এখনও রিয়েল-টাইম ওয়েব অনুসন্ধান এবং একযোগে একাধিক উত্স সংশ্লেষণে এক্সেল। কিন্তু যখন আমি আমার প্রতিদিনের কাজগুলি পরীক্ষা করি – কোড পর্যালোচনা, ডকুমেন্টেশন লেখা, ডেটা বিশ্লেষণ, প্রযুক্তিগত সমস্যা সমাধান – আমার স্থানীয় সেটআপ বিনিময়ে একটি পয়সা না চেয়ে দ্রুত, আরও ব্যক্তিগত, এবং ক্রমবর্ধমান দক্ষ ফলাফল প্রদান করে৷
আমার স্থানীয় এলএলএম সেটআপ এবং কেন আমি এটি তৈরি করেছি
স্ট্যাক যে আমার মেশিনে বিভ্রান্তিকর প্রতিস্থাপিত
স্থানীয় এলএলএম খরগোশের গর্তে আমার যাত্রা ওলামা দিয়ে শুরু হয়েছিল। এটি একটি ওপেন-সোর্স টুল যা স্থানীয়ভাবে এলএলএম চালানোর জন্য আদর্শ হয়ে উঠেছে। উইন্ডোজ ইনস্টলেশনও খুব কমই কয়েক মিনিট সময় নেয়। তারপরে আমি এটিকে আমার GUI ফ্রন্টএন্ড হিসাবে LM স্টুডিওর সাথে একত্রিত করেছি, যদিও আপনি এটি একটি স্বতন্ত্র AI অ্যাপ হিসাবেও ব্যবহার করতে পারেন। নেটিভ এআই-এর সুবিধাগুলি উপভোগ করতে আপনি ব্যবহার করতে পারেন এমন আরও অনেক অ্যাপ রয়েছে, তাই বেছে নিন।
আমার হার্ডওয়্যার শীর্ষ খাঁজ হয় না. আমি 8GB RTX 4060, 16GB LPDDR5X মেমরি, এবং Intel Core Ultra 7 সহ একটি ল্যাপটপ ব্যবহার করছি৷ এই হার্ডওয়্যারটি আপনাকে তাত্ক্ষণিক ফলাফল দেবে না বা আপনাকে উচ্চ-সম্পন্ন মডেলগুলি চালাতে দেবে না, তবে এটি Queue 2.5 Coder 32B এর মতো মডেলগুলিকে বেশ ভালভাবে চালানোর জন্য যথেষ্ট৷
যার কথা বলতে গিয়ে, আমি উপরের মডেলটি 4-বিট নির্ভুলতার পরিমানে ব্যবহার করছি। এটি আমার 8GB VRAM-এ আরামে চলে এবং প্রতি সেকেন্ডে 25 থেকে 30 টোকেন কোড জেনারেট করে। এটি পাইথন, ভিবিএ, পাওয়ারশেল এবং আপনার প্রয়োজনীয় অন্যান্য প্রোগ্রামিং ভাষা পরিচালনা করে। মডেলটি একটি 128k টোকেন প্রসঙ্গ উইন্ডো সহ লিগ্যাসি কোড ব্যাখ্যা করতে পারে।
সাধারণ কাজের জন্য, আমি Llama 3.1 70B এবং DeepSeek R1 ডিস্টিল্ড মডেলের মধ্যে ঘুরি। মানের ব্যবধানও নাটকীয়ভাবে কমেছে। এর মানে হল স্ব-হোস্ট করার সময় আমি ক্লাউড খরচের একটি ভগ্নাংশে গ্রাহক হার্ডওয়্যারে GPT-4 পারফরম্যান্স পেতে পারি।
যেখানে স্থানীয় এলএলএমগুলি একেবারে বিভ্রান্তিকরতাকে ক্রাশ করে
গোপনীয়তা, নিয়ন্ত্রণ এবং শূন্য হার সীমা
গোপনীয়তা একটি তাৎক্ষণিক সুবিধা। মালিকানা কোডের প্রতিটি লাইন আমার মেশিনে বাস করে। আমার প্রশ্নের জন্য কোন তৃতীয় পক্ষের পরিষেবা লগ নেই। স্বাস্থ্যসেবা, আইনি এবং অর্থের মতো ডেটা রেসিডেন্সির প্রয়োজনীয়তা সহ শিল্পগুলির জন্য, এটি HIPAA বা GDPR সম্মতির মাথাব্যথা দূর করে।
ব্যয় অর্থনীতিও একটি বড় ভূমিকা পালন করে। আমার নতুন ল্যাপটপের দাম প্রায় $1,600। এটি 80 মাসের Perplexity Pro, এবং আমি একই দামে অন্য সবকিছু করতে পারি। আমি একটি ক্লাউড এপিআই-তে মাসিক শত শত খরচ হবে এমন প্রশ্নও চালাই।
প্রয়োজন না হওয়া পর্যন্ত অফলাইন ক্ষমতা তুচ্ছ মনে হয়। আমি স্থিতিশীল ইন্টারনেট সংযোগের প্রয়োজন ছাড়াই যে কোনো সময়, যে কোনো জায়গায় আমার AI অ্যাক্সেস করতে পারি। আপনি কোন সংযোগ সমস্যা, কোন থ্রটলড Wi-Fi, কোন ব্যবহারের সীমা পাবেন না।
কর্মক্ষমতা জাদু নয়
ভাল, খারাপ এবং GPU ক্ষুধার্ত
স্থানীয় এলএলএমগুলি একেবারে ধীরগতির। আমার সারি 2.5 উদাহরণ প্রতি সেকেন্ডে 25 থেকে 30 টোকেন তৈরি করে, যা ক্লাউড-ভিত্তিক GPT-4 দ্বারা নির্গত টোকেনের প্রায় অর্ধেক।
কিন্তু আমার সাধারণ কর্মপ্রবাহের জন্য, এটি খুব কমই গুরুত্বপূর্ণ। কোড পর্যালোচনা বা ডকুমেন্টেশন প্রস্তুত করার সময়, আমি মডেলের জন্য অপেক্ষা করছি না। পড়ছি আর ভাবছি। এখানে সমস্যাটি আমার বোঝার মধ্যে, প্রতীকী প্রজন্মের মধ্যে নয়। 500-টোকেন স্পষ্টীকরণের প্রতি সেকেন্ডে 25-টোকেন প্রতিক্রিয়া স্থানীয় LLM-কে স্বাভাবিকের চেয়ে কয়েক মিনিট বেশি সময় নেবে।
লেটেন্সিও একটি ভিন্ন গল্প বলে। ক্লাউড পরিষেবাগুলি নেটওয়ার্ক ওভারহেডের ক্ষেত্রে বিলম্ব যোগ করতে পারে। অন্যদিকে, স্থানীয় এআই তাত্ক্ষণিকভাবে কাজটি সম্পন্ন করে। দ্রুত পুনরাবৃত্তির সাথে ইন্টারেক্টিভ কোডিং সহায়তার জন্য, সেই প্রতিক্রিয়াটি দুর্দান্ত। ভিএস কোডের জন্য একটি নেটিভ কোডিং এআই তৈরি করার সময় আমি এই একই সুবিধা পেয়েছি।
যেখানে বিভ্রান্তি এখনও একটি পরিষ্কার প্রান্ত আছে
লাইভ ওয়েব অনুসন্ধান এমন জিনিস যা আপনি সবচেয়ে বেশি মিস করবেন
রিয়েল-টাইম ওয়েব সার্চ হল Perplexity এর সেরা বৈশিষ্ট্য। যখন আমার বর্তমান নিয়ন্ত্রক প্রয়োজনীয়তা, সাম্প্রতিক API ডকুমেন্টেশন বা সেকেন্ডের মধ্যে উদ্ধৃতিগুলির সাথে একত্রিতকরণের প্রয়োজন হয়। আপনি বিনামূল্যে চ্যাটবটগুলি স্ট্যাক করতে পারেন যাতে আপনাকে AI এর জন্য অর্থ প্রদান করতে হবে না, তবে বিভ্রান্তি প্রতিস্থাপন করা কঠিন।
নেটিভ এলএলএমগুলি ওপেন ওয়েবইউআই ইন্টিগ্রেশনের সাথে ওয়েব অনুসন্ধানগুলি সম্পাদন করতে পারে, তবে সেটআপ জটিলতা উল্লেখযোগ্যভাবে বৃদ্ধি পায়। Perplexity এছাড়াও মাল্টিমোডাল কাজগুলিকে আরও ভালভাবে পরিচালনা করে, GPT-4 দৃষ্টিভঙ্গি এবং ক্লাউড 3 এর মাধ্যমে চিত্র বিশ্লেষণ এবং নথি প্রক্রিয়াকরণকে সমর্থন করে। আমার স্থানীয় সেটআপটি পাঠ্যের ক্ষেত্রে ভাল কিন্তু আপনার গাড়ির উপর নির্ভর করে চিত্রগুলির জন্য বিভিন্ন সরঞ্জামের প্রয়োজন।
হ্যালুসিনেশনের সমস্যা উল্লেখের দাবি রাখে। উদ্ধৃতি সত্ত্বেও, বিভ্রান্তি ভুল তথ্য হতে পারে। স্থানীয় এলএলএমগুলিও হ্যালুসিনেট করে, তবে বাস্তব-সময়ের সত্য-পরীক্ষা ছাড়াই, ত্রুটিগুলি চিহ্নিত করার জন্য আরও বেশি সতর্কতা প্রয়োজন।
আপনি উপেক্ষা করতে পারবেন না আপস আছে
খরচ বনাম সুবিধা বনাম দক্ষতা
স্থানীয় এলএলএম চালানোর সাথে কিছু লুকানো খরচ জড়িত। আপনার বিদ্যুৎ বিল বাড়বে কারণ আপনাকে একটি ডেডিকেটেড মেশিন 24 ঘন্টা চালু রাখতে হবে। একা মডেল ডাউনলোডগুলি আমার স্টোরেজ ড্রাইভে প্রায় 100 GB খরচ করে।
রক্ষণাবেক্ষণের দায়িত্বও সম্পূর্ণভাবে আপনার উপর বর্তায়। ড্রাইভার দ্বন্দ্ব, VRAM বরাদ্দ সংক্রান্ত সমস্যা এবং সফ্টওয়্যার অসঙ্গতি স্ব-নির্ণয়ের প্রয়োজন।
সুতরাং, আপনার কি স্থানীয় এলএলএম-এর জন্য বিভ্রান্তি ত্যাগ করা উচিত?
আপনার যদি কম্পিউটেশনাল ক্ষমতা থাকে, স্থানীয় এআই একটি গুরুতর প্রতিযোগী
আপনি আপনার বিভ্রান্তি বাতিল করতে এবং স্থানীয় LLM পথে যাওয়ার আগে, মনে রাখবেন যে আমার সেটআপটি আমার নির্দিষ্ট প্রয়োজনের জন্য কাজ করেছে। আপনি যদি আরও ক্ষমতা বা শক্তি চান তবে আপনাকে আরও বড় মডেল নিয়োগ করতে হবে।
আমি আমার পুরানো কম্পিউটার হার্ডওয়্যারে একটি চ্যাটবট চালানোর চেষ্টা করেছি এবং এটি আসলে কাজ করেছে
আপনার পিসিতে এআই চালানোর জন্য আপনার ব্যয়বহুল হার্ডওয়্যারের প্রয়োজন নেই।
আমি নিত্যদিনের ব্যবহার থেকে টার্গেট করা প্রশ্নে বিভ্রান্তি কমিয়েছি, সম্ভবত শীঘ্রই বিনামূল্যের স্তরে চলে যাব। স্থানীয় LLMগুলি ওয়েব পরিষেবাগুলিকে প্রতিস্থাপন করতে পারে কিনা তা নয় – প্রশ্নটি হল আপনার দৈনন্দিন কাজগুলির জন্য রিয়েল-টাইম ওয়েব অ্যাক্সেসের প্রয়োজন বা সামান্য বাসি ডেটাতে দ্রুত, ব্যক্তিগত, অ্যাসিঙ্ক্রোনাস অনুমান আপনার জন্য আরও ভাল কাজ করে কিনা৷
