יוצר Robots.txt

צרו קובץ robots.txt מותאם אישית — הגדירו Sitemap, נתיבים חסומים ו-Crawl Delay

Sitemap URL

Crawl Delay (שניות, אופציונלי)

Allow: / (אפשר סריקה כללית)

נתיבים חסומים (Disallow)

נתיבים נפוצים לחסימה