همه چیز در مورد فایل robots.txt و متاتگ robots
فایل robots.txt و متاتگ robots دو تا از ابزار هایی هستند که ما بوسیله ی آنها میتوانیم با روبات های موتور های جستجو صحبت کنیم بوسیله ی این دو ابزار ما به کراولر ها میگوییم که کدام صفحه ما را خزش کنند و کدام صفحات ما را رها کنند.بوسیله ی این دو ابزار ما میتوانیم…
