Sitemap και robots.txt στο WordPress και στον δικό σας ιστότοπο

Ένα sitemap είναι μια λίστα με τις διευθύνσεις που θέλετε να εμφανίζονται στις μηχανές αναζήτησης. Ένα robots.txt λέει στις μηχανές αναζήτησης ποιες διευθύνσεις δεν επιτρέπεται να επισκεφθούν και πού βρίσκεται το sitemap σας. Δείτε πώς τα ελέγχετε στο WordPress και σε έναν ιστότοπο που φτιάχνετε μόνοι σας.

WordPress

Από την έκδοση 5.5, το WordPress δημιουργεί μόνο του ένα sitemap και ένα robots.txt:

• Το sitemap βρίσκεται στη διεύθυνση https://jouwdomein.nl/wp-sitemap.xml.
• Το robots.txt είναι εικονικό: δεν υπάρχει αρχείο στον φάκελο του ιστότοπού σας, αλλά το WordPress το εμφανίζει στη διεύθυνση https://jouwdomein.nl/robots.txt, μαζί με μια παραπομπή στο sitemap.
• Χρησιμοποιείτε κάποιο πρόσθετο SEO, όπως το Yoast SEO ή το Rank Math; Τότε συχνά δημιουργεί το δικό του sitemap, για παράδειγμα sitemap_index.xml. Τη διεύθυνση θα τη βρείτε στις ρυθμίσεις του πρόσθετου. Αυτή τη διεύθυνση υποβάλλετε στο Google και στο Bing.

Ένα τυπικό robots.txt του WordPress μοιάζει περίπου έτσι:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Μήπως το WordPress εμποδίζει τις μηχανές αναζήτησης;

1. Συνδεθείτε στο WordPress και μεταβείτε στις Ρυθμίσεις και έπειτα στην Ανάγνωση.
2. Στην ορατότητα για τις μηχανές αναζήτησης, ελέγξτε το πλαίσιο επιλογής Αποθάρρυνση των μηχανών αναζήτησης από την ευρετηρίαση αυτού του ιστότοπου.
3. Το πλαίσιο αυτό πρέπει να είναι απενεργοποιημένο. Κάντε κλικ στην Αποθήκευση αλλαγών.

Αν το πλαίσιο είναι επιλεγμένο, το WordPress ζητά από τις μηχανές αναζήτησης να παραλείψουν ολόκληρο τον ιστότοπό σας. Συχνά ενεργοποιείται κατά την κατασκευή του ιστότοπου και μετά ξεχνιέται.

Περισσότερα για την ευρεσιμότητα στο WordPress θα βρείτε στο Ευρεσιμότητα: τα βασικά.

Ένα δικό σας robots.txt

Αν τοποθετήσετε μόνοι σας ένα αρχείο robots.txt στον φάκελο του ιστότοπού σας, αυτό υπερισχύει του εικονικού robots.txt του WordPress. Σε ένα πακέτο hosting της WebOké, ο φάκελος του ιστότοπου είναι ο public_html του domain σας. Ανεβάζετε το αρχείο εκεί με το File Manager στο DirectAdmin (δείτε Άνοιγμα του File Manager: οι φάκελοι του πακέτου σας) ή μέσω FTP.

Ένα απλό robots.txt που επιτρέπει τα πάντα και παραπέμπει στο sitemap σας:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Ένας ιστότοπος που φτιάχνετε μόνοι σας

Φτιάχνετε τον ιστότοπό σας μόνοι σας ή με κάποιο άλλο πρόγραμμα; Τότε ελέγξτε αν το πρόγραμμα αυτό δημιουργεί sitemap. Αν όχι, μπορείτε να τα καταφέρετε και χωρίς: ένας μικρός ιστότοπος με καλούς συνδέσμους μεταξύ των σελίδων βρίσκεται κι αυτός. Ένα sitemap πάντως βοηθά. Τοποθετήστε το στον φάκελο του ιστότοπού σας και αναφέρετέ το στο robots.txt σας, όπως παραπάνω.

Έλεγχος

• Ανοίξτε τη διεύθυνση https://jouwdomein.nl/robots.txt. Υπάρχει η γραμμή Disallow: / κάτω από το User-agent: *; Τότε καμία μηχανή αναζήτησης δεν επιτρέπεται να επισκεφθεί τον ιστότοπό σας. Αφαιρέστε αυτή τη γραμμή όταν ο ιστότοπός σας είναι έτοιμος.
• Υπάρχει γραμμή Sitemap:; Ανοίξτε αυτή τη διεύθυνση στο πρόγραμμα περιήγησής σας. Θα πρέπει να δείτε μια λίστα με διευθύνσεις του ιστότοπού σας, με https και το δικό σας domain.

Συμβουλή: το robots.txt δεν κρατά μια σελίδα έξω από το Google. Μια σελίδα που δεν επιτρέπεται να επισκεφθούν οι μηχανές αναζήτησης μπορεί παρ' όλα αυτά να εμφανιστεί στα αποτελέσματα αναζήτησης, αν άλλοι ιστότοποι παραπέμπουν σε αυτήν. Αν θέλετε πραγματικά να κρατήσετε μια σελίδα έξω από το Google, χρησιμοποιήστε noindex. Τη διαφορά θα τη διαβάσετε στο μάθημα robots.txt: τι μπλοκάρετε και τι όχι του σεμιναρίου Online gevonden worden.