قابلية الفهرسة وrobots.txt

robots.txt يتحكم بالجلب. وسم robots وترويسة X-Robots-Tag يتحكمان بالفهرسة. خلط الاثنين أشهر خطأ نراه على توائم التجارة السعودية. إن حُظر /account في robots.txt فلن يرى جوجل حتى noindex. هذا مناسب للتطبيقات. وهو قاتل لصفحة طقم هدايا يجب أن تترتب.