נכון, לא קשור לטיסנים אבל יעזור לאחרים ולנו בעתיד עם התקנות של אתר אינטרנט מבוסס ג'ומלה שמריץ את החנות הוירטואלית וירטומארט - Virtuemart.
אז אם התקנתם ג'ומלה והשארתם קובץ ה-robots.txt המקורי, סביר להניח שגוגל לא מגיע לכל הקבצים והתיקייות החשובות באתר שלכם, לא מאנדקס אותו נכון ופוגע בקידום ובמיקומים שלו בתוצאות החיפוש. פרטים נוספים בסוף הפוסט.
אז כך נראה הקובץ המקורי לאחר סינון כל ההערות:
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
וכך נראה הקובץ לאחר העדכון, גוגל אוהב אותנו עכשיו
:
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Allow: /components/com_virtuemart/assets/
Allow: /modules/mod_virtuemart_cart/assets/
ובגלל יישור "עקום" לימין, הלוכסן השמאלי בכל שורה אמור להופיע בסיום השורה...
ולסיבה שבגינה נדרש השינוי, כבר בשנת 2014 עדכנו גוגל את אלגוריתם הזחילה והאינדוקס שלהם והם קוראים קבצי CSS וקבצי JavaScript ויודעים כיצד "נראה" האתר שלכם. נושא בעל חשיבות במיוחד עם כניסת המכשירים הניידים בעלי המסכים קטנים ורזולוציה גבוהה.
מפתחי ג'ומלה כתבו קובץ robots.txt שלא מתחשב במיקום הקבצים הללו עבור הרחבות רבות, בינהן VirtueMat. כדי להימנע מ"עונשים" שגוגל עלול להשית על האתר שלכם, מומלץ להשתמש בהמלצות מעל.
כרגיל, השינוי מבוצע על אחריותכם, הסרת אחריות כלשהי וכמובן בצעו גיבוי לפני ובאופן כלל כל יום לפחות.