আসসালামু আলাইকুম।
আশা করি সবাই ভালো আছেন?
আজকে আমি আপনাদের সামনে গল্পে গল্পে কিভাবে আপনি আপনার ওয়েবসাইট এর জন্য কিভাবে রোবট টেক্সট ফাইল আপনার ওয়েবসাইটে অ্যাড করেবেন তা নিয়ে আলোচনা করবো ?
তো যাওয়া যাক আমাদের আজকের পর্বে।
তারপর দিন মজনু গেল কিভাবে Robot.txt ফাইল আপনার Website Ea অ্যাড করা যায় তা নিয়ে জানতে ।
মজনুঃ- ভাই Robot.txt ফাইল কি ?
হৃদয়ঃ- Robot.txt ফাইল হচ্ছে এমন একটা টেক্সট ফাইল যারা দ্বারা সার্চ ইঞ্জিন Robot কে বলে দেয়া, যে হে মহান Robot সাহেব আপনি আমার এই ওয়েবসাইট এর এই পোস্ট, এই পেজ , এই মিডিয়া ফাইল গুলো Crawl করবেন।
এই পেজ পোস্ট মিডিয়া Crawl করবেন না। এক কথায় বলা যায় যে এটা একটা বিধি নিষেধ সার্চ ইঞ্জিন এর Robot এর জন্য ।
মজনুঃ- ভাই Robot.txt এর Use করার দরকার কি ?
হৃদয়ঃ- খুবই ভাল একটা প্রশ্ন করেছেন, কেন আসলে আমরা Robot.txt ফাইল Use করতে সুপারিশ করি ?
আসলে দেখা যায়, আমরা যে আমাদের Website এর জন্য পেজ পোস্ট বানাই, সবই দরকারি পেজ বা পোস্ট নাকি ? না সবই দরকারি পেজ ও পোস্ট না ।
এই অপ্রয়োজনীয় Page বা Post কে আমরা index করতে চাই না । এই index না করার জন্যই আমরা Robot.txt ব্যাবহার করে থাকি ।
মজনুঃ- robots.txt টি ফাইলস কি করে কাজ করে ?
হৃদয়ঃ- সাইট এর মালিক নির্দিষ্ট সময় ওয়েব ক্রলার নির্দেশ ক্রলিং এর জন্য এর জন্য সে robots.txt ফাইলটি সাইট এর Root Directory তে ঢুকিয়ে দেয়।
বট robots.txt ফাইল ফলো করে Crawl ও Fetch করে থাকে। কিন্তু robots.txt বটকে বলে দেয় কোন গুলা Crawl করা যাবে না, আর কোন গুলা Crawl করবে।
যদি robots.txt না থাকে তবে Crawl মনে করে আপনি আপনার সাইট এর জন্য কোনো Direction দেন নাই। তাই সে পুরো সাইটটি Crawl করে নেয়।
মৌলিক একটা রোবটস ফাইল ২ ভাগে বিভক্ত-
----------------------------------------------------
User-agent: [user-agent name]
Disallow: /[URL string not to be crawled]
-----------------------------------------------------
মজনুঃ- ভাই আমরা কিভাবে robots.txt ব্যাবহার করবো ?
হৃদয়ঃ- robots.txt ফাইল আপনার ওয়েবসাইটে অ্যাড করা যায় তাই ভাবছেন, কোন সমস্যা নেই আমি আপনাকে দেখিয়ে দিচ্ছি।
এখুন চলুন Mannually কি করে Robot ফাইলটি আপনার Hosting Panel থেকে করা যায় তা শিখি।
আপনি প্রথমে একটা robot.txt ফাইল তৈরি করুন Notepad টেক্সট ফরম্যাটে ।
টেক্সট ফরম্যাটে যা যা থাকবে।
=======================
User-agent: *
Disallow: wp-admin
Disallow: wp-admin/includes
Disallow: wp-content/plugins
Disallow: wp-content/cache
Disallow: wp-content/theme
=======================
এইটি আপনি .text ফরম্যাটে নোটপ্যাডে Save করুন। তারপর cpanel এ Log in করুন।
Files থেকে File Manager এ যাবেন তারপর public_html এ যাবেন।
উপরে লক্ষ্য করলে দেখবেন Upload লিখা আছে, ঐ Button এ Click করে Select বাটন এ যেতে আপনার নোটপ্যাড এর টেক্সট ফাইলটা সিলেক্ট করে Upload দিন।
ঠিক মতন কাজ করছে কি না তার জন্য আপনি এই ভাবে চেক করে নিতে পারেন।https://www.yoursitename.com/robots.txt.
বিকল্প পদ্ধতি হচ্ছে- প্লাগিন এর মাধ্যমে করা ।
প্রথমে আপনি আপনার Plug-ins অপশনে গিয়ে New Plug-ins ক্লিক করবেন ।
তারপর Robot.txt ফাইল লিখে সার্চ করবেন ।
এরপর আপনার সামনে অনেক Plug-ins আসবে, আপনি যে কোন একটা Plug-ins ইন্সটল করবেন। তারপর ঐ Plug-ins টা অ্যাক্টিভ করবেন ।
তারপর সেই খানে আপনার Robot.txt ফাইল লিখে দিবেন । তারপর Save করলেই আপনার Robot.txt ফাইল Save হয়ে যাবে ।
মজনুঃ- ভাই যদি একটু দেখাতেন?
হৃদয়ঃ- আমি আমার ওয়েবসাইট এর জন্য Virtual Robots.txt নামক প্লাগিন্স দিয়ে আমি এটাকে install করে Active করলাম । Active করার পর আপনাকে এইভাবে দেখাবে ।
তারপর আপনি আপনার Dashboard এর সেটিং এর Virtual Robots.txt নামক অপশনে Click করবেন । আপনি নিচের ছবিটি লক্ষ্য করুন ।
তারপর আপনি নিচের দেখানো ছবি এর জাইগায় আপনার Robot.txt ফাইল লিখে দিবেন। তারপর Save করে দিলেই হবে ।আপনি নিচের ছবিটি লক্ষ্য করুন ।
তাহলেই আপনার Robot.txt ফাইল Save হইয়ে যাবে ।
Now the main part of this tutorial is how to add custom robots.txt in blogger. So, below are steps to add it.
Go to your blogger blog.
Navigate to Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
Now paste your robots.txt file code in the box.
Click on Save Changes button.
You are done!
মজনুঃ- ভাই এবার বুঝতে পারছি কিভাবে Robot.txt File সেভ করতে হবে।
ওকে ভাই আজকে তাহলে আসি আল্লাহ হাফেজ ।
হৃদয়- ওকে ভাই, আরেকদিন, অন্য কোন বিষয়ে কথা হবে। আল্লাহ হাফেজ।
আশা করি সবাই ভালো আছেন?
আজকে আমি আপনাদের সামনে গল্পে গল্পে কিভাবে আপনি আপনার ওয়েবসাইট এর জন্য কিভাবে রোবট টেক্সট ফাইল আপনার ওয়েবসাইটে অ্যাড করেবেন তা নিয়ে আলোচনা করবো ?
তো যাওয়া যাক আমাদের আজকের পর্বে।
তারপর দিন মজনু গেল কিভাবে Robot.txt ফাইল আপনার Website Ea অ্যাড করা যায় তা নিয়ে জানতে ।
মজনুঃ- ভাই Robot.txt ফাইল কি ?
হৃদয়ঃ- Robot.txt ফাইল হচ্ছে এমন একটা টেক্সট ফাইল যারা দ্বারা সার্চ ইঞ্জিন Robot কে বলে দেয়া, যে হে মহান Robot সাহেব আপনি আমার এই ওয়েবসাইট এর এই পোস্ট, এই পেজ , এই মিডিয়া ফাইল গুলো Crawl করবেন।
এই পেজ পোস্ট মিডিয়া Crawl করবেন না। এক কথায় বলা যায় যে এটা একটা বিধি নিষেধ সার্চ ইঞ্জিন এর Robot এর জন্য ।
মজনুঃ- ভাই Robot.txt এর Use করার দরকার কি ?
হৃদয়ঃ- খুবই ভাল একটা প্রশ্ন করেছেন, কেন আসলে আমরা Robot.txt ফাইল Use করতে সুপারিশ করি ?
আসলে দেখা যায়, আমরা যে আমাদের Website এর জন্য পেজ পোস্ট বানাই, সবই দরকারি পেজ বা পোস্ট নাকি ? না সবই দরকারি পেজ ও পোস্ট না ।
এই অপ্রয়োজনীয় Page বা Post কে আমরা index করতে চাই না । এই index না করার জন্যই আমরা Robot.txt ব্যাবহার করে থাকি ।
মজনুঃ- robots.txt টি ফাইলস কি করে কাজ করে ?
হৃদয়ঃ- সাইট এর মালিক নির্দিষ্ট সময় ওয়েব ক্রলার নির্দেশ ক্রলিং এর জন্য এর জন্য সে robots.txt ফাইলটি সাইট এর Root Directory তে ঢুকিয়ে দেয়।
বট robots.txt ফাইল ফলো করে Crawl ও Fetch করে থাকে। কিন্তু robots.txt বটকে বলে দেয় কোন গুলা Crawl করা যাবে না, আর কোন গুলা Crawl করবে।
যদি robots.txt না থাকে তবে Crawl মনে করে আপনি আপনার সাইট এর জন্য কোনো Direction দেন নাই। তাই সে পুরো সাইটটি Crawl করে নেয়।
মৌলিক একটা রোবটস ফাইল ২ ভাগে বিভক্ত-
----------------------------------------------------
User-agent: [user-agent name]
Disallow: /[URL string not to be crawled]
-----------------------------------------------------
মজনুঃ- ভাই আমরা কিভাবে robots.txt ব্যাবহার করবো ?
হৃদয়ঃ- robots.txt ফাইল আপনার ওয়েবসাইটে অ্যাড করা যায় তাই ভাবছেন, কোন সমস্যা নেই আমি আপনাকে দেখিয়ে দিচ্ছি।
এখুন চলুন Mannually কি করে Robot ফাইলটি আপনার Hosting Panel থেকে করা যায় তা শিখি।
আপনি প্রথমে একটা robot.txt ফাইল তৈরি করুন Notepad টেক্সট ফরম্যাটে ।
টেক্সট ফরম্যাটে যা যা থাকবে।
=======================
User-agent: *
Disallow: wp-admin
Disallow: wp-admin/includes
Disallow: wp-content/plugins
Disallow: wp-content/cache
Disallow: wp-content/theme
=======================
এইটি আপনি .text ফরম্যাটে নোটপ্যাডে Save করুন। তারপর cpanel এ Log in করুন।
Files থেকে File Manager এ যাবেন তারপর public_html এ যাবেন।
উপরে লক্ষ্য করলে দেখবেন Upload লিখা আছে, ঐ Button এ Click করে Select বাটন এ যেতে আপনার নোটপ্যাড এর টেক্সট ফাইলটা সিলেক্ট করে Upload দিন।
ঠিক মতন কাজ করছে কি না তার জন্য আপনি এই ভাবে চেক করে নিতে পারেন।https://www.yoursitename.com/robots.txt.
বিকল্প পদ্ধতি হচ্ছে- প্লাগিন এর মাধ্যমে করা ।
প্রথমে আপনি আপনার Plug-ins অপশনে গিয়ে New Plug-ins ক্লিক করবেন ।
তারপর Robot.txt ফাইল লিখে সার্চ করবেন ।
এরপর আপনার সামনে অনেক Plug-ins আসবে, আপনি যে কোন একটা Plug-ins ইন্সটল করবেন। তারপর ঐ Plug-ins টা অ্যাক্টিভ করবেন ।
তারপর সেই খানে আপনার Robot.txt ফাইল লিখে দিবেন । তারপর Save করলেই আপনার Robot.txt ফাইল Save হয়ে যাবে ।
মজনুঃ- ভাই যদি একটু দেখাতেন?
হৃদয়ঃ- আমি আমার ওয়েবসাইট এর জন্য Virtual Robots.txt নামক প্লাগিন্স দিয়ে আমি এটাকে install করে Active করলাম । Active করার পর আপনাকে এইভাবে দেখাবে ।
তারপর আপনি আপনার Dashboard এর সেটিং এর Virtual Robots.txt নামক অপশনে Click করবেন । আপনি নিচের ছবিটি লক্ষ্য করুন ।
তারপর আপনি নিচের দেখানো ছবি এর জাইগায় আপনার Robot.txt ফাইল লিখে দিবেন। তারপর Save করে দিলেই হবে ।আপনি নিচের ছবিটি লক্ষ্য করুন ।
তাহলেই আপনার Robot.txt ফাইল Save হইয়ে যাবে ।
Adding Custom Robots.Txt to Blogger
Now the main part of this tutorial is how to add custom robots.txt in blogger. So, below are steps to add it.
Go to your blogger blog.
Navigate to Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
Now paste your robots.txt file code in the box.
Click on Save Changes button.
You are done!
মজনুঃ- ভাই এবার বুঝতে পারছি কিভাবে Robot.txt File সেভ করতে হবে।
ওকে ভাই আজকে তাহলে আসি আল্লাহ হাফেজ ।
হৃদয়- ওকে ভাই, আরেকদিন, অন্য কোন বিষয়ে কথা হবে। আল্লাহ হাফেজ।