قبل از اینکه امکان جستجوی کاربران در گوگل فراهم شود ، این موتور جستجو اقدام به بررسی و نمایه سازی تمامی صفحات موجود در وب می کند و این فرآیند به طور مکرر بارها و بارها تکرار می شود. اگر شما نیز مالک یک وب سایت هستید ، حتما علاقه دارید بدانید که گوگل چگونه صفحات سایت شما را بررسی و ایندکس می کند ، گوگل چگونه سایت شما را می بیند ، چگونه می توانید اطلاعات درستی از سایت خود به گوگل بدهید و اطلاعاتی دیگر مشابه با این موارد.

نحوه مشاهده سایت توسط گوگل تاثیر مستقیمی در رتبه سایت شما به ازای جستجوی عبارات کلیدی رقابتی دارد و هرچه شرایط سایت شما از این نظر نسبت به رقبا بهتر باشد ، رتبه بالاتری را بدست خواهید آورد.

ابتدا پیشنهاد می کنیم برای اینکه بدانید گوگل چگونه سایت شما را مشاهده می کند از طریق لینک نحوه مشاهده سایت در موتورهای جستجو ،  شبیه سازی نمایش سایت در موتور جستجو سایت خود را بصورت رایگان تحلیل کنید تا مهم ترین متاتگ هایی که برای موتورهای جستجو اهمیت دارد و از سایت شما استخراج می شود را ببینید و در صورت هرگونه خطا و اشتباه آنها را برطرف کنید.

گوگل در طول هر شبانه روز میلیون ها صفحه از وب سایت های مختلف را بررسی می کند و تگ ها ، محتوا ، تصاویر و همه اطلاعاتی که درون هر صفحه وب است را به دقت آنالیز و سپس براساس اطلاعات بدست آمده ، صفحه مورد نظر را در یک یا چند کتگوری مشخص و به ازای عبارات کلیدی رتبه بندی می نماید. شما به کمک فایل robots.txt می توانید دسترسی خزنده گوگل به سایت خود را مدیریت کنید و تعیین کنید که گوگل به چه صفحاتی از سایت شما دسترسی داشته باشد. برای ساخت فایل robots.txt از لینک مشخص شده اقدام نمایید و با ابزار ساخت robots.txt ، مشخص کنید که گوگل به چه بخش هایی از سایت شما و چگونه و تحت چه شرایطی دسترسی داشته باشد.

فایل ساخته شده را باید در پوشه اصلی هاست سایت خود بارگزاری کنید و همچنین از طریق google search console یا گوگل وبسمتر تولز  تغییرات این فایل را به گوگل اعلام نمایید.