আমি স্থানীয় AI-তে সবকিছু স্যুইচ করেছি এবং ক্লাউডে আমার নথি পাঠানো বন্ধ করে দিয়েছি

দীর্ঘ সময় ধরে, আমি ChatGPT-এ একটি চুক্তি পেস্ট করার, একটি সারাংশের জন্য জিজ্ঞাসা করে একটি গোপনীয় প্রতিবেদন আপলোড করার, বা ক্লাউড AI টুলে একটি ক্লায়েন্টের প্রস্তাব খাওয়ানোর বিষয়ে দুবার ভাবিনি। তারপর একদিন আমি সত্যিই থামলাম এবং পরিষেবার নথির শর্তাবলী পড়লাম (এমন কিছু যা আমি বছরের পর বছর ধরে অলসভাবে পড়ছিলাম) এবং আমি বুঝতে পেরেছিলাম: এই ফাইলগুলি আমার মেশিন ছেড়ে চলে যাচ্ছে এবং অন্তত অস্থায়ীভাবে অন্য কারও সার্ভারে বাস করছে। এবং মজার বিষয় হল, আমি বুঝতে পেরেছিলাম যে একজন প্রাক্তন সহকর্মী একবার কভার করেছিলেন যে গোপনীয় তথ্যের ক্ষেত্রে আপনার কেন ChatGPT কে বিশ্বাস করা উচিত নয়। সেই অস্বস্তি আমাকে আরও ভালো উপায় খুঁজতে অনুপ্রাণিত করেছিল।

আমি যা পেয়েছি তা হল এনিথিংএলএলএম, একটি বিনামূল্যের, ওপেন-সোর্স ডেস্কটপ অ্যাপ যা আপনাকে আপনার নথি থেকে সম্পূর্ণরূপে একটি ব্যক্তিগত এআই সহকারী তৈরি করতে দেয় — এবং এটি সম্পূর্ণরূপে আপনার ডিভাইসে করতে দেয়। আমি প্রতিদিন যে ওপেন সোর্স এআই অ্যাপ ব্যবহার করি তার মধ্যে এটি একটি হয়ে উঠেছে। স্যুইচিং আসলে কেমন ছিল তা এখানে।

os

উইন্ডোজ, অ্যান্ড্রয়েড, ম্যাক, লিনাক্স

মান মডেল

বিনামূল্যে (ওপেন সোর্স)

এনিথিংএলএলএম ব্যবহার করে স্থানীয়ভাবে বড় ভাষার মডেল চালান এবং চ্যাট করুন। এটি আপনাকে নথিগুলি সংযুক্ত করতে, আপনার ডেটা নিয়ন্ত্রণ করতে এবং সম্পূর্ণরূপে AI এর মালিক হতে দেয়৷

এনিথিংএলএলএম ইনস্টল এবং কনফিগার করতে এটি মাত্র কয়েক মিনিট সময় নেয়

এবং এটি আপনাকে বলে যে আপনি শুরু করার আগে আপনার ডেটা কোথায় যায়

একবার আপনি সেটআপ ফাইলটি ধরলে, এটিতে ডাবল-ক্লিক করুন এবং উইজার্ডটি গ্রহণ করবে। ইনস্টল করার সময়, এটি স্বয়ংক্রিয়ভাবে সমর্থনকারী উপাদানগুলি ডাউনলোড করে: ওলামার CUDA লাইব্রেরি যদি আপনার একটি সামঞ্জস্যপূর্ণ NVIDIA GPU থাকে – একটি প্রক্রিয়া যা আপনি উপলব্ধি করবেন যদি আপনি বুঝতে পারেন যে CUDA কোরগুলি কী এবং সেগুলি কীভাবে সাধারণ গণনা ক্ষমতা উন্নত করে – মিডিয়া পরিচালনার জন্য FFProbe, এবং ভয়েস বৈশিষ্ট্যগুলির জন্য মিটিং সহকারী সম্পদ৷ এগুলোর কোনোটিরই আপনার কাছ থেকে কোনো ইনপুট লাগবে না। ইনস্টলারটিতে ডাবল-ক্লিক করা থেকে শুরু করে প্রধান ড্যাশবোর্ড দেখতে, পুরো জিনিসটি আমার পাঁচ মিনিটেরও কম সময় নেয়।

এনিথিংএলএলএম একবার খোলে, এটি আপনাকে প্রথম যে জিনিসটি দেখায় তা হ’ল ডেটা হ্যান্ডলিং এবং গোপনীয়তা স্ক্রিন – এবং এটি পড়ার যোগ্য। এটি স্পষ্টভাবে বলে যে আপনার মডেল এবং চ্যাট শুধুমাত্র আপনার ডিভাইসে অ্যাক্সেসযোগ্য, নথির পাঠ্যটি ব্যক্তিগতভাবে এম্বেড করা হয়েছে এই উদাহরণে এটির অন্তর্নির্মিত যেকোনও এলএলএম এমবেডার ব্যবহার করে, এবং আপনার ভেক্টরগুলি LanceDB এর মাধ্যমে স্থানীয়ভাবে সংরক্ষণ করা হয়। আপনি যদি কখনও দেখে থাকেন যে ভেক্টর ডেটাবেসগুলি কী এবং তারা কীভাবে এআইকে বাড়িয়ে তোলে, আপনি বুঝতে পারবেন যে এই উপাদানটিকে সম্পূর্ণ অফলাইনে রাখা একটি বিশাল গোপনীয়তার জয়। সেটিংসে কোনো টগল এবং অপ্ট-আউট লুকানো নেই। ডিফল্টরূপে সবকিছুই স্থানীয় থাকে।

গোপনীয়তা ওভারভিউয়ের ঠিক পরে, যেকোনো কিছু এলএলএম আপনাকে আপনার এলএলএম পছন্দের স্ক্রিনে নিয়ে যাবে। সমর্থিত প্রদানকারীদের তালিকা দীর্ঘ: ক্লাউডের পাশে OpenAI, Anthropic, Azure OpenAI, Gemini, Grok এবং অন্যান্য রয়েছে। সম্পূর্ণ স্থানীয় দিকে, ওলামা, এলএম স্টুডিও, লোকালএআই, কোবোল্ডসিপিপি, ডেল প্রো এআই স্টুডিও, মাইক্রোসফ্ট ফাউন্ড্রি লোকাল, এবং ডকার মডেল রানার ইত্যাদি রয়েছে। ডিফল্ট “এনিথিংএলএম” বিকল্পটি ওলামা দ্বারা চালিত একটি স্থানীয় মডেল রানারকে বান্ডিল করে, যার অর্থ আপনি মাইক্রোসফ্টের Phi-4 (9.6GB) বা QBaba10 (9.6GB) এর মতো মডেল ডাউনলোড করতে পারেন। ক্ষুদ্র 600MB) কোনো অতিরিক্ত সেটআপ ছাড়াই সরাসরি অ্যাপের ভিতর থেকে।

সংযুক্ত

9 সেরা স্থানীয়/অফলাইন এলএলএম আপনি এখনই চেষ্টা করতে পারেন

আপনি কি LLM খুঁজছেন যা আপনি আপনার কম্পিউটারে স্থানীয়ভাবে চালাতে পারেন? আমরা আপনাকে আচ্ছাদিত করেছি!

যদি আপনার মেশিনে একটি ডেডিকেটেড GPU না থাকে, তাহলে সেটি ডিলব্রেকার নয়। Grok-এর API-এর সাথে সংযোগ করা আপনাকে প্রায় শূন্য খরচে Llama 3 70B-এর মতো দ্রুত-আনুমানিক মডেলগুলিতে অ্যাক্সেস দেয় এবং এটি কাজ করার জন্য আপনার শুধুমাত্র একটি API কী প্রয়োজন৷ আপনি সেটিংস থেকে যেকোনো সময় আপনার প্রদানকারীকে পরিবর্তন করতে পারেন, তাই আপনি সেটআপের সময় আপনার বেছে নেওয়া কোনো বিকল্পে লক করবেন না। আমি পরীক্ষার জন্য একটি স্থানীয় প্রদানকারী থেকে শুরু করেছিলাম – Phi-3 3.8B একটি মধ্য-পরিসরের ল্যাপটপে নথি প্রশ্নোত্তরগুলির জন্য কতটা সক্ষম তা দেখে আমাকে অবাক করে – তারপরে ভারী কাজের জন্য Grok-এ চলে যাই যেখানে গতি বেশি গুরুত্বপূর্ণ৷

একবার আপনি সেট আপ হয়ে গেলে, এনিথিংএলএলএম আপনার নথিগুলিকে একটি ফোকাসড এআই সহকারীতে পরিণত করে

আপনার ফাইলগুলি আরও স্পষ্টভাবে কথা বলে

ড্যাশবোর্ড আপনাকে একটি প্রারম্ভিক চেকলিস্ট এবং একটি সাইডবার সহ স্বাগত জানায় যা ইতিমধ্যেই “মাই ওয়ার্কস্পেস” নামে একটি ডিফল্ট ওয়ার্কস্পেস অন্তর্ভুক্ত করে। যেকোনও এলএলএম-এ ওয়ার্কস্পেসগুলি হল প্রধান সংগঠিত ধারণা: প্রতিটি হল একটি স্বয়ংসম্পূর্ণ পরিবেশ যেখানে আপনার নথি এবং কথোপকথন একসাথে থাকে। প্রতিটি ওয়ার্কস্পেসকে একটি পৃথক রুম হিসাবে ভাবুন: একটি ক্লায়েন্ট চুক্তির জন্য, আরেকটি অভ্যন্তরীণ গবেষণার জন্য, তৃতীয়টি ব্যক্তিগত নোটের জন্য। প্রয়োজনে ওয়ার্কস্পেসের মধ্যে ডকুমেন্ট শেয়ার করা যেতে পারে, কিন্তু এআই এর প্রেক্ষাপটকে ফোকাস করে এবং এর উত্তরগুলো সঠিক রেখে তারা একে অপরের মধ্যে প্রবাহিত হয় না।

কর্মক্ষেত্রে নথিগুলি আনা একটি সাধারণ টেনে আনা। যেকোনো কিছু এলএলএম ওয়ার্ড ডকুমেন্ট, প্লেইন টেক্সট ফাইল, সিএসভি, স্প্রেডশীট, অডিও ফাইল এবং এমনকি পিডিএফও পরিচালনা করে, যেমন নোটবুকএলএম যেকোনো পিডিএফকে একটি ইন্টারেক্টিভ কথোপকথনে পরিণত করে। আপলোড প্যানেলে একটি “ওয়েবসাইট আনয়ন” ক্ষেত্রও রয়েছে, তাই আপনি যদি একটি ওয়েবপৃষ্ঠা বা অনলাইন সংস্থান তুলতে চান, আপনি URLটি পেস্ট করেন এবং এটি স্বয়ংক্রিয়ভাবে বিষয়বস্তুটিকে স্ক্র্যাপ করে। একবার আপলোড হয়ে গেলে, এনিথিংএলএলএম প্রতিটি ফাইলকে তার এম্বেডের মাধ্যমে প্রসেস করে, টেক্সট সেগমেন্ট করে এবং স্থানীয়ভাবে ভেক্টর সংরক্ষণ করে। একটি সাধারণ দশ পৃষ্ঠার পিডিএফ মাত্র কয়েক সেকেন্ড সময় নেয়।

সেখান থেকে, আপনার নথির সাথে চ্যাট করা আপনার প্রত্যাশা অনুযায়ী কাজ করে। আমি আমার পাঁচটি ইউনিভার্সিটির লেকচার নোট আপলোড করেছি এবং তাদের কিছু মূল বিষয়ের সংক্ষিপ্ত বিবরণ দিতে বলেছি, উল্লেখিত কোনো ঝুঁকি চিহ্নিত করতে এবং যে দুটি বিভাগকে আমি ম্যানুয়ালি সমন্বয় করতে সংগ্রাম করছিলাম সেগুলোর তুলনা করতে বলেছি। এটি তিনটিই পরিষ্কারভাবে পরিচালনা করেছে। প্রতিক্রিয়াগুলির মধ্যে উদ্ধৃতিগুলি অন্তর্ভুক্ত রয়েছে যা নির্দিষ্ট নথির বিভাগগুলি থেকে উত্তরটি নেওয়া হয়েছিল, তাই আপনাকে কখনই ভাবতে হবে না যে AI কিছু তৈরি করেছে বা আসলেই এটি আপনার ফাইলগুলিতে খুঁজে পেয়েছে। প্রকৃত কাজের জন্য একটি সাধারণ চ্যাটবটের তুলনায় এই ট্রেসেবিলিটি এটিকে অনেক বেশি নির্ভরযোগ্য করে তোলে।

এজেন্ট এবং স্ল্যাশ কমান্ড এনিথিংএলএলএমকে স্মার্ট সার্চ বক্সে প্রসারিত করে

এটি সেই অংশ যেখানে এটি সত্যিই আকর্ষণীয় হয়ে ওঠে।

এলএলএম যেকোন কিছু এজেন্টিভ ক্ষমতার সাথে আসে যা সাধারণ নথি অনুসন্ধানের বাইরে চলে যায়। টাইপিং @প্রতিনিধি একজন AI এজেন্ট চ্যাটে সক্রিয় থাকে যা টুল-কলিং কাজগুলি সম্পাদন করতে পারে: ওয়েব অনুসন্ধান, গভীর গবেষণা এবং ক্রস-অ্যাপ অ্যাকশন। কাস্টম এজেন্ট দক্ষতা AnythingLLM কমিউনিটি হাবের মাধ্যমে পাওয়া যায়, যেখানে লাইব্রেরি ক্রমাগত বৃদ্ধি পাচ্ছে। স্ল্যাশ কমান্ড বৈশিষ্ট্য আপনাকে পুনরাবৃত্তিমূলক কাজের জন্য দ্রুত টেমপ্লেট তৈরি করতে এবং সংরক্ষণ করতে দেয় – একটি সামঞ্জস্যপূর্ণ বিন্যাসে মিটিং নোটের সারসংক্ষেপ, একটি নির্দিষ্ট টোনে ইমেল উত্তর ফর্ম্যাট করা, বা প্রতিবার আপলোড করা নথি থেকে নির্দিষ্ট ক্ষেত্রগুলি সরানোর মতো জিনিসগুলি।

সংযুক্ত

এআই এজেন্ট কি এবং তারা কিভাবে কাজ করে?

এআই এজেন্ট আপনাকে জটিল সমস্যা সমাধানে সাহায্য করতে পারে, কিন্তু তারা আসলে কীভাবে কাজ করে?

আপনি যদি আরও যেতে চান তবে একটি ব্রাউজার এক্সটেনশন রয়েছে যা আপনাকে যেকোনো ওয়েবপেজ থেকে আপনার AnythingLLM ইন্সট্যান্সের সাথে ইন্টারঅ্যাক্ট করতে দেয় এবং একটি GPTLocalhost ইন্টিগ্রেশন যা অ্যাসিস্ট্যান্টকে সরাসরি Microsoft Word এ নিয়ে আসে। যে দলগুলিকে ভাগ করা অ্যাক্সেসের প্রয়োজন তারা ডকার সংস্করণ বেছে নিতে পারে, যা বহু-ব্যবহারকারী সমর্থন, ভূমিকা-ভিত্তিক নিয়ন্ত্রণ এবং সাদা-লেবেলিং যুক্ত করে। ব্যক্তিগত ব্যবহারের জন্য ডেস্কটপ অ্যাপটি পর্যাপ্ত নয়, তবে এটা জেনে রাখা ভালো যে টিম সেটআপের একটি পথ বিদ্যমান।

ব্যক্তিগত এআই বিপ্লবে স্বাগতম (জনসংখ্যা: আপনি)

এনিথিংএলএলএম-এ স্যুইচ করার মাধ্যমে, আমি এআই-কে আমার ভাড়া করা একটি পরিষেবা হিসাবে দেখা বন্ধ করে দিয়েছি এবং এটিকে আমার মালিকানাধীন একটি ইউটিলিটি হিসাবে দেখতে শুরু করেছি। আমার নথিগুলি আমার ড্রাইভে থাকে, আমার প্রশ্নগুলি ব্যক্তিগত থাকে এবং এখন আমার কাছে একজন ডিজিটাল সহকারী আছে যে আসলে আমার প্রসঙ্গ জানে, শুধু সাধারণ ইন্টারনেট নয়।