Ευρετηρίαση: τι μπαίνει στο ευρετήριο και τι όχι

Ενότητα 1: Πώς λειτουργούν οι μηχανές αναζήτησης · Χρόνος ανάγνωσης: 11 λεπτά

Στόχος μαθήματος: Μετά από αυτό το μάθημα μπορείτε να κρίνετε για μια σελίδα αν μπορεί να μπει στο ευρετήριο και, αν όχι, ποια από τις τέσσερις «κλειδαριές» τη σταματά: ο κωδικός κατάστασης, το robots.txt, το noindex ή το canonical.

Βασικές έννοιες: ευρετηρίαση, τεχνικές απαιτήσεις της Google, noindex (meta robots και X-Robots-Tag), το robots.txt δεν είναι noindex, κανονικοποίηση (canonicalisation), διπλότυπο περιεχόμενο, soft 404, «Crawled - currently not indexed», «Discovered - currently not indexed», καμία εγγύηση

Τι συμβαίνει κατά την ευρετηρίαση

Αφού ο crawler ανακτήσει μια σελίδα (μάθημα 1.2), η μηχανή αναζήτησης τη διαβάζει. Η Google αναλύει το κείμενο, τον τίτλο, τις επικεφαλίδες, τις εικόνες και τα βίντεο, και προσδιορίζει σε ποια γλώσσα είναι η σελίδα. Εξετάζει επίσης αν η σελίδα είναι αντίγραφο μιας άλλης σελίδας και ποιο από αυτά τα αντίγραφα είναι το «πραγματικό». Μόνο μετά από αυτό αποφασίζει η Google αν η σελίδα θα μπει στο ευρετήριο.

Η Google λέει δύο πράγματα γι’ αυτό που καλό είναι να θυμάστε:

• Η καταχώριση δεν είναι εγγυημένη. Ακόμη και αν η σελίδα σας πληροί όλες τις απαιτήσεις, η Google μπορεί να αποφασίσει να μην την καταχωρίσει.
• Είναι φυσιολογικό να μην έχουν καταχωριστεί όλα. Η Google γράφει κατά λέξη στη βοήθεια για την αναφορά ευρετηρίασης ότι δεν πρέπει να περιμένετε κάθε διεύθυνση του site σας να είναι ευρετηριασμένη και ότι αυτό μπορεί να είναι απολύτως εντάξει. Αυτό που μετράει είναι οι σημαντικές σας σελίδες.

Οι τρεις τεχνικές απαιτήσεις

Η Google αναφέρει τρεις τεχνικές απαιτήσεις για να είναι μια σελίδα επιλέξιμη για το ευρετήριο:

1. Το Googlebot δεν αποκλείεται. Η σελίδα είναι προσβάσιμη και το robots.txt δεν απαγορεύει την ανάκτησή της.
2. Η σελίδα λειτουργεί. Ο server επιστρέφει κωδικό κατάστασης 200, όχι σφάλμα.
3. Η σελίδα έχει περιεχόμενο που μπορεί να ευρετηριαστεί. Κείμενο σε τύπο αρχείου που μπορεί να διαβάσει η Google, χωρίς παραβίαση των πολιτικών για το spam.

Στην πράξη προστίθενται δύο επιλογές του ιδιοκτήτη του site: ένα noindex («μην το καταχωρίσεις») και ένα canonical που δείχνει σε άλλη διεύθυνση («όχι αυτή, αλλά εκείνη»). Μαζί αυτά δίνουν τέσσερις κλειδαριές από τις οποίες πρέπει να περάσει μια σελίδα.

Κλειδαριά 1: ο κωδικός κατάστασης

Μόνο μια σελίδα με κατάσταση 200 μπορεί να μπει στο ευρετήριο. Ένα 301 ή 308 στέλνει τη μηχανή αναζήτησης στη νέα διεύθυνση· τότε αξιολογείται αυτή η νέα διεύθυνση. Ένα 404 ή 410 αφαιρεί από το ευρετήριο μια διεύθυνση που είχε καταχωριστεί νωρίτερα.

Η δύσκολη περίπτωση είναι το soft 404 από το μάθημα 1.2: κατάσταση 200, αλλά το περιεχόμενο είναι μήνυμα σφάλματος ή μια σχεδόν κενή σελίδα. Η Google συχνά το αναγνωρίζει και δεν καταχωρίζει μια τέτοια σελίδα. Και μια κενή σελίδα κατηγορίας σε ένα ηλεκτρονικό κατάστημα («δεν βρέθηκαν προϊόντα») μπορεί να θεωρηθεί soft 404.

Κλειδαριά 2: robots.txt

Με το robots.txt απαγορεύετε σε έναν crawler να ανακτήσει μια σελίδα. Αυτό είναι διαφορετικό από το να απαγορεύσετε την καταχώρισή της. Η Google είναι σαφής σε αυτό: το robots.txt δεν είναι τρόπος για να κρατήσετε μια σελίδα έξω από τη Google. Αν άλλα sites παραπέμπουν σε μια αποκλεισμένη σελίδα, η διεύθυνση μπορεί παρ’ όλα αυτά να εμφανιστεί στα αποτελέσματα, απλώς χωρίς περιγραφή. Στο Search Console αυτό ονομάζεται «Indexed, though blocked by robots.txt».

Το robots.txt προορίζεται για τη διαχείριση της κίνησης των crawlers: για παράδειγμα, για να μη διατρέχει ένας crawler χιλιάδες σελίδες αποτελεσμάτων αναζήτησης του δικού σας site. Το μάθημα 3.3 εξετάζει το θέμα πιο αναλυτικά.

Κλειδαριά 3: noindex

Αν θέλετε πραγματικά μια σελίδα να μην εμφανίζεται στα αποτελέσματα αναζήτησης, χρησιμοποιήστε noindex. Αυτό γίνεται με δύο τρόπους, με το ίδιο αποτέλεσμα:

<!-- στο <head> της σελίδας -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Ο δεύτερος είναι μια κεφαλίδα HTTP που στέλνει ο server. Λειτουργεί και για αρχεία που δεν είναι HTML, όπως ένα pdf. Η τιμή none σημαίνει το ίδιο με noindex, nofollow. Με <meta name="googlebot" content="noindex"> ο κανόνας ισχύει μόνο για τη Google· άλλες μηχανές αναζήτησης μπορεί να ερμηνεύουν έναν γενικό κανόνα διαφορετικά.

Εδώ βρίσκεται η παγίδα που εμφανίζεται πολύ συχνά: το noindex και ένας αποκλεισμός στο robots.txt δεν λειτουργούν μαζί. Αν το robots.txt αποκλείει τη σελίδα, η Google δεν την ανακτά και επομένως δεν βλέπει ποτέ το noindex. Η σελίδα μπορεί τότε, μέσω συνδέσμων από άλλους, να μπει παρ’ όλα αυτά στο ευρετήριο. Αν θέλετε να βγει μια σελίδα από τη Google: επιτρέψτε την ανάκτησή της και βάλτε της noindex.

Πού μπορεί να συναντήσετε noindex χωρίς να το θέλετε;

• Στο WordPress, στις Ρυθμίσεις, Read, υπάρχει το πλαίσιο ελέγχου «Discourage search engines from indexing this site». Αυτό βάζει noindex σε ολόκληρο το site. Χρήσιμο κατά την κατασκευή, καταστροφικό αν ξεχάσετε να το απενεργοποιήσετε.
• Στο AI Builder μπορείτε να ορίσετε ένα site ή μια σελίδα ως «χωρίς ευρετηρίαση»· τότε προστίθεται ένα noindex, nofollow στη σελίδα. Επίσης, ένα δωρεάν demo site δεν ευρετηριάζεται ποτέ.
• Ένα πρόσθετο SEO ή ένα θέμα με λάθος ρύθμιση ανά σελίδα ή ανά τύπο σελίδας.

Άλλα εργαλεία κατασκευής ιστοσελίδων έχουν παρόμοιους διακόπτες, συχνά με όνομα όπως «απόκρυψη από τις μηχανές αναζήτησης».

Κλειδαριά 4: το canonical

Πολλά sites έχουν την ίδια σελίδα σε περισσότερες διευθύνσεις: με και χωρίς www, με http και https, με μια παράμετρο στο τέλος όπως ?utm_source=nieuwsbrief. Η Google επιλέγει από τέτοιες ομάδες μία διεύθυνση ως κανονική (canonical) έκδοση και εμφανίζει μόνο αυτή στα αποτελέσματα. Οι υπόλοιπες είναι διπλότυπα.

Μπορείτε να βοηθήσετε τη Google να επιλέξει με μια ανακατεύθυνση (ισχυρό σήμα) ή με μια παραπομπή canonical μέσα στη σελίδα:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Ένα canonical είναι σήμα, όχι εντολή: η Google μπορεί να επιλέξει άλλη διεύθυνση. Αν το canonical σας δείχνει σε άλλη διεύθυνση, η ίδια η σελίδα λέει: «μην καταχωρίσεις εμένα, αλλά εκείνη». Αυτό είναι σωστό όταν ισχύει, και πρόβλημα όταν είναι λάθος, για παράδειγμα όταν κάθε σελίδα δείχνει στην αρχική σελίδα. Το μάθημα 3.5 εξετάζει το θέμα περισσότερο.

Το διπλότυπο περιεχόμενο στο δικό σας site, σύμφωνα με τη Google, δεν αποτελεί παραβίαση των πολιτικών για το spam και δεν οδηγεί σε μη αυτόματη ενέργεια. Είναι όμως αναποτελεσματικό: οι crawlers ανακτούν το ίδιο περιεχόμενο πολλές φορές, και δεν αποφασίζετε εσείς ποια διεύθυνση εμφανίζεται στα αποτελέσματα.

Τα μηνύματα στο Search Console

Στην αναφορά Pages του Search Console (μάθημα 2.4) βλέπετε για κάθε σελίδα που δεν έχει ευρετηριαστεί έναν λόγο. Και οι τέσσερις κλειδαριές εμφανίζονται εκεί:

Τα δύο τελευταία δεν είναι τεχνικό σφάλμα. Το «Crawled - currently not indexed» εμφανίζεται συχνά· η Google λέει ότι δεν είναι πάντα πρόβλημα. Αν πρόκειται για σημαντική σελίδα, ελέγξτε αν προσθέτει πραγματικά κάτι: μια μοναδική, χρήσιμη σελίδα έχει περισσότερες πιθανότητες από μια φτωχή σελίδα που μοιάζει με δέκα άλλες.

Σύνοψη

• Μετά την ανίχνευση, η μηχανή αναζήτησης αποφασίζει αν μια σελίδα θα μπει στο ευρετήριο· αυτό δεν είναι ποτέ εγγυημένο και δεν χρειάζεται να μπουν όλα.
• Τέσσερις κλειδαριές: κατάσταση 200, κανένας αποκλεισμός στο robots.txt, κανένα noindex, canonical που λείπει ή δείχνει στην ίδια τη σελίδα.
• Το robots.txt απαγορεύει την ανάκτηση, όχι την καταχώριση. Χρησιμοποιήστε noindex για να κρατήσετε κάτι έξω από τα αποτελέσματα, και τότε μην αποκλείετε αυτή τη σελίδα στο robots.txt.
• Ένα canonical είναι ισχυρό σήμα, όχι εντολή. Το διπλότυπο περιεχόμενο δεν είναι spam, είναι όμως αναποτελεσματικό.
• Το «Crawled - currently not indexed» δεν είναι τεχνικό σφάλμα· εξετάστε την αξία της σελίδας.

Κουίζ

Άσκηση

Άσκηση A1.3: Επιτρέπεται αυτή η σελίδα στο ευρετήριο; Συμπληρώστε τη διεύθυνση μιας σελίδας (μιας σελίδας του δικού σας site ή μιας σελίδας που κρύβετε σκόπιμα, όπως μια σελίδα ευχαριστίας). Στη συνέχεια επιλέξτε την πρόβλεψή σας: «επιτρέπεται στο ευρετήριο» ή «δεν επιτρέπεται στο ευρετήριο» και, αν επιλέξετε «δεν επιτρέπεται», ποια κλειδαριά τη σταματά (κωδικός κατάστασης, robots.txt, noindex, canonical προς άλλη διεύθυνση). Το πρόγραμμα ελέγχει τις τέσσερις κλειδαριές όπως σε αυτό το μάθημα και τοποθετεί το δικό του αποτέλεσμα δίπλα στο δικό σας.

Περαιτέρω ανάγνωση

• Google, Τεχνικές απαιτήσεις της Αναζήτησης Google: https://developers.google.com/search/docs/essentials/technical
• Google, Αποκλεισμός ευρετηρίασης με noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Εισαγωγή στο robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Ενοποίηση διπλότυπων URL (κανονικοποίηση): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Βοήθεια του Google Search Console, Αναφορά ευρετηρίασης σελίδων: https://support.google.com/webmasters/answer/7440203