تبلیغات در گوگل

فایل robots.txt یک فایل متنی با فرمت TXT است که به خزنده‌های موتورهای جستجو می‌گوید کدام URLها می‌توانند و نمی‌توانند به وب‌سایت شما دسترسی داشته باشند. در اصل، این برای جلوگیری از بارگذاری بیش از حد سایت شما است. درخواست‌ها به سرور ارسال می‌شوند، اما توجه داشته باشید که استفاده از robots.txt راه خوبی برای دسترسی به وب‌سایت‌های Google نیست. اطلاعات بیشتر در مورد این فایل و موارد مربوط به آن را می توانید در انتهای مقاله همراه مشاهده کنید. به ما
اجرای فایل robots.txt؟
استفاده از فایل robots.txt عمدتا برای مدیریت ترافیک خزنده به سایت شما و جلوگیری از ایندکس شدن فایل های خاص در پایگاه داده گوگل و نتایج جستجو استفاده می شود و معمولا بسته به نوع فایل، از ایندکس شدن آن توسط گوگل جلوگیری می کند. نمایش داده. در نتایج موتورهای جستجو را دور نگه دارید.
استفاده از فایل های robots.txt در صفحات وب
اگر فکر می‌کنید سرور شما تحت فشار درخواست‌های خزیدن Google است، می‌توانید از فایل robots.txt برای صفحات وب در HTML، PDF یا سایر فرمت‌های غیر رسانه‌ای استفاده کنید. صفحات نامربوط یا مشابه را در سایت خود خزیدن.
از فایل robots.txt برای مخفی کردن صفحات وب خود از نتایج جستجوی Google استفاده نکنید، زیرا ممکن است Google URL را بدون ارجاع به صفحه فهرست کند. از چیزی مانند محافظت از رمز عبور یا noindex استفاده کنید.
اگر وب‌سایت شما توسط robots.txt مسدود شده باشد، URL آن ممکن است همچنان در نتایج جستجو ظاهر شود، اما نتیجه جستجو توصیفی نخواهد بود، یعنی فایل‌های تصویری، فایل‌های ویدیویی، فایل‌های PDF و سایر فایل‌های غیرHTML. اگر صفحه سایت خود را در چنین نتایج جستجو می بینید، با حذف ورودی robots.txt که آن صفحه را مسدود می کند، آن را برطرف کنید و اگر می خواهید صفحه را به طور کامل از جستجو پنهان کنید، از راه دیگری استفاده کنید.
یک فایل robots.txt به فایل تبلیغاتی اضافه کنید
شما می توانید از فایل robots.txt برای جلوگیری از نمایش فایل های تصویری، ویدئویی و صوتی در نتایج جستجوی گوگل استفاده کنید، اما این فایل نباید از دسترسی به فایل های رسانه ای از طریق لینک های سایت های دیگر جلوگیری کند.
برای جلوگیری از نمایش تصاویر سایت شما در نتایج جستجوی گوگل، یک فایل robots.txt را به سرور اضافه کنید که تصویر را مسدود می کند در حالی که از این فایل استفاده می کنید تا تصاویر را از نتایج جستجو حذف کنید. استفاده از ابزار حذف زمان بیشتری می برد. اما استفاده از ربات ها. فایل txt به شما انعطاف و کنترل بیشتری می دهد، همچنین برای همه موتورهای جستجو اعمال می شود، در حالی که ابزار حذف URL فقط برای حذف آدرس ها از Google استفاده می شود.
به عنوان مثال، اگر می خواهید تصویر صفحه خود را با استفاده از فایل robots.txt از نتایج گوگل حذف کنید، باید دستورالعمل های زیر را در این فایل دنبال کنید.
مشتری کاربر: Googlebot-Image
غیر مجاز: /images/one.jpg
در خط دوم کد بالا بعد از دستور blocking باید آدرس تصویر مورد نظر قرار داده شود، حالا دفعه بعد که مرورگر گوگل سایت شما را چک کرد این دستور را می بیند و این تصویر را از نتایج جستجو حذف می کند. .
اعمال فایل robots.txt بر روی فایل های منبع
یکی دیگر از کاربردهای robots.txt مسدود کردن فایل های منبع است. اگر فکر نمی کنید صفحات شما بدون برخی از فایل های منبع تاثیر قابل توجهی داشته باشند، می توانید از یک فایل robots.txt برای مسدود کردن آن فایل ها استفاده کنید. به عنوان یک فایل اسکریپت یا سایر سبک های فایل در نظر گرفته می شود. اما اگر نبود این منابع، درک صفحه را برای موتور جستجوی محتوای گوگل دشوار می کند، نباید آنها را مسدود کنید و اگر این کار را انجام دهید، گوگل نمی تواند صفحاتی که به این منابع وابسته هستند را به درستی تجزیه و تحلیل کند.
محدودیت های فایل robots.txt
قبل از ایجاد یا ویرایش فایل robots.txt، باید محدودیت‌های این روش مسدود کردن URL را درک کنید. برای تعیین اینکه آیا این روش برای کاری که می خواهید انجام دهید بر اساس اهداف و موقعیت شما مناسب است یا خیر، می توانید روش های دیگری را در نظر بگیرید تا مطمئن شوید URL شما در اینترنت یافت نمی شود.
محدودیت های موجود در فایل robots.txt ممکن است شما را مجبور به انتخاب روش دیگری کند. این محدودیت ها به شرح زیر است.
برخی از موتورهای جستجو از robots.txt پشتیبانی نمی کنند
دستورالعمل‌های موجود در این فایل‌های robots.txt ممکن است توسط همه ربات‌ها (ربات‌ها) استفاده نشود، این بستگی به موتور جستجو دارد که گوش کنیم یا نه، با این حال، ربات‌های گوگل و سایر موتورهای جستجوی معتبر دستورالعمل‌های این فایل را دنبال می‌کنند، اما جستجوهای دیگر موتورها انجام می دهند. به حرف او گوش نکن. بنابراین، اگر می‌خواهید اطلاعات همه مرورگرهای وب را محدود کنید، بهتر است از روش‌های مسدودسازی دیگر مانند محافظت از فایل‌های خصوصی روی سرور خود استفاده کنید.
تفاوت در نحوه تفسیر دستورالعمل ها توسط ربات ها
یکی دیگر از محدودیت های robots.txt تفاوت در تفسیر است، اگرچه خزنده های معتبر از دستورالعمل های robots.txt پیروی می کنند، اما هر خزنده می تواند این دستورالعمل ها را متفاوت تفسیر کند. شما باید بدانید که چگونه به درستی با خزندگان مختلف برخورد کنید، همانطور که برخی نمی دانند. برخی از دستورالعمل ها را درک کنید