അപ്‌ഡേറ്റുചെയ്‌ത അല്ലെങ്കിൽ പുതിയ Robots.txt ഫയൽ എങ്ങനെ വീണ്ടും സമർപ്പിക്കാം

റോബോട്ടുകൾ txt

ഞങ്ങളുടെ ഏജൻസി കൈകാര്യം ചെയ്യുന്നു ഓർഗാനിക് തിരയൽ കൺസൾട്ടിംഗ് വ്യവസായത്തിലെ നിരവധി SaaS വെണ്ടർ‌മാർ‌ക്കായി. ഞങ്ങൾ അടുത്തിടെ പ്രവർത്തിക്കാൻ തുടങ്ങിയ ഒരു ക്ലയന്റ് തികച്ചും സ്റ്റാൻഡേർഡ് പ്രാക്ടീസ് നടത്തി, അവരുടെ ആപ്ലിക്കേഷൻ ഒരു സബ്ഡൊമെയ്നിൽ സ്ഥാപിക്കുകയും അവരുടെ ബ്രോഷർ സൈറ്റ് കോർ ഡൊമെയ്‌നിലേക്ക് മാറ്റുകയും ചെയ്തു. ഇത് ഒരു സ്റ്റാൻഡേർഡ് പരിശീലനമാണ്, കാരണം ഇത് നിങ്ങളുടെ പ്രൊഡക്ഷൻ ടീമിനെയും മാർക്കറ്റിംഗ് ടീമിനെയും മറ്റൊന്നിനെ ആശ്രയിക്കാതെ ആവശ്യാനുസരണം അപ്‌ഡേറ്റുകൾ ചെയ്യാൻ പ്രാപ്‌തമാക്കുന്നു.

അവരുടെ ഓർഗാനിക് തിരയൽ ആരോഗ്യം വിശകലനം ചെയ്യുന്നതിനുള്ള ആദ്യ ഘട്ടമെന്ന നിലയിൽ, ഞങ്ങൾ വെബ്‌മാസ്റ്ററുകളിൽ ബ്രോഷറും അപ്ലിക്കേഷൻ ഡൊമെയ്‌നുകളും രജിസ്റ്റർ ചെയ്‌തു. അപ്പോഴാണ് ഞങ്ങൾ ഒരു ഉടനടി പ്രശ്നം തിരിച്ചറിഞ്ഞത്. എല്ലാ ആപ്ലിക്കേഷൻ പേജുകളും തിരയൽ എഞ്ചിനുകൾ സൂചികയിലാക്കുന്നതിൽ നിന്ന് തടഞ്ഞു. ഞങ്ങൾ വെബ്‌മാസ്റ്ററുകളിലെ അവരുടെ robots.txt എൻ‌ട്രിയിലേക്ക് നാവിഗേറ്റുചെയ്‌ത് പ്രശ്‌നം തൽക്ഷണം തിരിച്ചറിഞ്ഞു.

മൈഗ്രേഷനായി തയ്യാറെടുക്കുമ്പോൾ, ആപ്ലിക്കേഷൻ സബ്ഡൊമെയ്ൻ തിരയൽ വഴി സൂചികയിലാക്കാൻ അവരുടെ വികസന ടീം ആഗ്രഹിച്ചില്ല, അതിനാൽ അവർ തിരയൽ എഞ്ചിനുകളിലേക്കുള്ള പ്രവേശനം അനുവദിച്ചില്ല. നിങ്ങളുടെ സൈറ്റിന്റെ റൂട്ടിൽ‌ കാണുന്ന ഒരു ഫയലാണ് robots.txt ഫയൽ‌ - yourdomain.com/robots.txt - അത് സൈറ്റ് ക്രാൾ ചെയ്യണോ വേണ്ടയോ എന്ന് തിരയൽ എഞ്ചിനെ അറിയാൻ അനുവദിക്കുന്നു. മുഴുവൻ സൈറ്റിലോ നിർദ്ദിഷ്ട പാതകളിലോ ഇൻഡെക്സിംഗ് അനുവദിക്കുന്നതിനോ അനുവദിക്കുന്നതിനോ നിങ്ങൾക്ക് നിയമങ്ങൾ എഴുതാൻ കഴിയും. നിങ്ങളുടെ സൈറ്റ്‌മാപ്പ് ഫയൽ വ്യക്തമാക്കുന്നതിന് നിങ്ങൾക്ക് ഒരു വരി ചേർക്കാനും കഴിയും.

ദി robots.txt ഫയലിന് ഇനിപ്പറയുന്ന എൻ‌ട്രി ഉണ്ടായിരുന്നു, അത് സൈറ്റിനെ ക്രാൾ‌ ചെയ്യുന്നതും തിരയൽ‌ ഫല റാങ്കിംഗിൽ‌ സൂചികയിലാക്കുന്നതും തടയുന്നു:

ഉപയോക്തൃ-ഏജൻറ്: * അനുവദിക്കരുത്: /

ഇത് ഇനിപ്പറയുന്ന രീതിയിൽ എഴുതിയിരിക്കണം:

ഉപയോക്തൃ-ഏജൻറ്: * അനുവദിക്കുക: /

സൈറ്റിനുള്ളിൽ ഏത് ഡയറക്ടറിയോ ഫയലോ ആക്‌സസ്സുചെയ്യാനാകുന്ന സൈറ്റിലേക്ക് ക്രാൾ ചെയ്യുന്ന ഏതൊരു സെർച്ച് എഞ്ചിനും രണ്ടാമത്തേത് അനുമതി നൽകുന്നു.

കൊള്ളാം… അതിനാൽ ഇപ്പോൾ അത് robots.txt ഫയൽ മികച്ചതാണ്, പക്ഷേ Google ന് എങ്ങനെ അറിയാം, അവർ എപ്പോൾ സൈറ്റ് വീണ്ടും പരിശോധിക്കും? ശരി, നിങ്ങളുടെ robots.txt പരിശോധിക്കാൻ Google- ന് തീർച്ചയായും അഭ്യർത്ഥിക്കാം, പക്ഷേ ഇത് വളരെ അവബോധജന്യമല്ല.

ഇതിലേക്ക് നാവിഗേറ്റ് ചെയ്യുക Google തിരയൽ കൺസോൾ തിരയൽ കൺസോൾ ലേക്ക് ക്രാൾ> robots.txt ടെസ്റ്റർ. ടെസ്റ്ററിനുള്ളിൽ ഏറ്റവും സമീപകാലത്ത് ക്രാൾ ചെയ്ത robots.txt ഫയലിന്റെ ഉള്ളടക്കങ്ങൾ നിങ്ങൾ കാണും. നിങ്ങളുടെ robots.txt ഫയൽ വീണ്ടും സമർപ്പിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, സമർപ്പിക്കുക ക്ലിക്കുചെയ്യുക, ഒരു പോപ്പ്അപ്പിന് കുറച്ച് ഓപ്ഷനുകൾ വരും.

robots.txt വീണ്ടും സമർപ്പിക്കുക

അവസാന ഓപ്ഷൻ അപ്‌ഡേറ്റ് ചെയ്യാൻ Google- നോട് ആവശ്യപ്പെടുക. ആ ഓപ്ഷന് അടുത്തുള്ള നീല സമർപ്പിക്കുക ബട്ടൺ ക്ലിക്കുചെയ്യുക, തുടർന്ന് തിരികെ നാവിഗേറ്റുചെയ്യുക ക്രാൾ> robots.txt ടെസ്റ്റർ പേജ് വീണ്ടും ലോഡുചെയ്യാനുള്ള മെനു ഓപ്ഷൻ. അപ്‌ഡേറ്റ് ചെയ്ത robots.txt ഫയലിനൊപ്പം ഒരു തീയതി സ്റ്റാമ്പും നിങ്ങൾ വീണ്ടും ക്രാൾ ചെയ്തതായി കാണിക്കുന്നു.

നിങ്ങൾ അപ്‌ഡേറ്റുചെയ്‌ത പതിപ്പ് കാണുന്നില്ലെങ്കിൽ, സമർപ്പിക്കുക ക്ലിക്കുചെയ്‌ത് തിരഞ്ഞെടുക്കുക അപ്‌ലോഡുചെയ്‌ത പതിപ്പ് കാണുക നിങ്ങളുടെ യഥാർത്ഥ robots.txt ഫയലിലേക്ക് നാവിഗേറ്റുചെയ്യാൻ. പല സിസ്റ്റങ്ങളും ഈ ഫയൽ കാഷെ ചെയ്യും. വാസ്തവത്തിൽ, ഐഐഎസ് അവരുടെ ഉപയോക്തൃ ഇന്റർഫേസിലൂടെ നൽകിയ നിയമങ്ങളെ അടിസ്ഥാനമാക്കി ചലനാത്മകമായി ഈ ഫയൽ സൃഷ്ടിക്കുന്നു. ഒരു പുതിയ robots.txt ഫയൽ പ്രസിദ്ധീകരിക്കുന്നതിന് നിങ്ങൾ നിയമങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യുകയും കാഷെ പുതുക്കുകയും ചെയ്യും.

റോബോട്ടുകൾ-ടെക്സ്റ്റ്-ടെസ്റ്റർ

നീ എന്ത് ചിന്തിക്കുന്നു?

സ്പാം കുറയ്ക്കുന്നതിന് ഈ സൈറ്റ് Akismet ഉപയോഗിക്കുന്നു. നിങ്ങളുടെ അഭിപ്രായ ഡാറ്റ പ്രോസസ്സുചെയ്യുന്നത് എങ്ങനെയെന്നറിയുക.