Posts tagged robots.txt

فرض کنید که در ترافیک سرویس داریم که روی دامنه یا زیر دامنه ای فعال است و کار ریورس پروکسی را انجام می دهد و نمی خواهیم دسترسی ربات ها برای کراول این سرویس را ببندیم. از طرفی امکان ایجاد فایل robots.txt در سرویس مورد نظر را هم نداریم تا بتوانیم فایل مورد ...