Αποκλεισμός σελίδας από το Google: robots.txt ή noindex;
Θέλετε μια σελίδα να μην εμφανίζεται στο Google, για παράδειγμα μια σελίδα ευχαριστιών, μια δοκιμαστική σελίδα ή μια παλιά προσφορά; Τότε πολλοί σκέφτονται το αρχείο robots.txt. Όμως το robots.txt δεν κρατάει μια σελίδα εκτός Google. Για αυτό υπάρχει το noindex. Σε αυτό το άρθρο διαβάζετε τη διαφορά, πώς χρησιμοποιείτε και τα δύο και τι κάνετε με μια σελίδα που έχετε διαγράψει. Χρησιμοποιούμε το example.com ως παράδειγμα.
Η διαφορά εν συντομία
| robots.txt | noindex | |
|---|---|---|
| Τι λέει | "Μην ανακτήσετε αυτή τη σελίδα." | "Μην συμπεριλάβετε αυτή τη σελίδα στα αποτελέσματα αναζήτησης." |
| Κρατάει μια σελίδα εκτός Google; | Όχι. Αν άλλοι συνδέσουν προς τη σελίδα, η διεύθυνση μπορεί παρ' όλα αυτά να εμφανιστεί, χωρίς περιγραφή. | Ναι, μόλις το Google επισκεφτεί ξανά τη σελίδα. |
| Πού βρίσκεται; | Ένα αρχείο στο https://example.com/robots.txt | Μέσα στην ίδια τη σελίδα, ή ως κεφαλίδα που στέλνει ο διακομιστής |
| Για τι το χρησιμοποιείτε; | Για να κατευθύνετε την κίνηση crawl, για παράδειγμα παραλείποντας σελίδες αποτελεσμάτων αναζήτησης του δικού σας site | Σελίδες που παραμένουν προσβάσιμες, αλλά δεν πρέπει να εμφανίζονται στο Google |
Κανένα από τα δύο δεν αποτελεί μέτρο ασφαλείας. Οποιοσδήποτε μπορεί να διαβάσει το robots.txt σας, και μια σελίδα με noindex παραμένει απλώς προσβάσιμη. Αν κάτι πρέπει πραγματικά να προστατευτεί, τοποθετήστε το πίσω από κωδικό πρόσβασης. Δείτε Προστασία ενός φακέλου με κωδικό πρόσβασης στο DirectAdmin.
Χρήση του noindex
Τοποθετήστε αυτή τη γραμμή στην <head> της σελίδας:
<meta name="robots" content="noindex">
Για αρχεία χωρίς HTML, όπως ένα pdf, ο διακομιστής μπορεί να στείλει την ίδια οδηγία ως κεφαλίδα: X-Robots-Tag: noindex. Το αποτέλεσμα είναι το ίδιο.
Συνήθως δεν χρειάζεται να το πληκτρολογήσετε μόνοι σας:
- AI Builder: ανοίξτε την ενότητα SEO, επιλέξτε τη σελίδα και απενεργοποιήστε κάτω από το Περισσότερα για αυτή τη σελίδα τον διακόπτη Αυτή η σελίδα ανιχνεύσιμη στο Google. Η σελίδα παραμένει προσβάσιμη, αλλά λαμβάνει ένα noindex. Δημοσιεύστε έπειτα ξανά.
- WordPress: ένα πρόσθετο SEO διαθέτει ανά σελίδα μια ρύθμιση ώστε η σελίδα να μην ευρετηριάζεται. Το πλαίσιο ελέγχου Αποθάρρυνση των μηχανών αναζήτησης από την ευρετηρίαση αυτού του ιστότοπου στις Ρυθμίσεις, Ανάγνωση ισχύει για ολόκληρο τον ιστότοπο.
- Άλλα εργαλεία δημιουργίας ιστότοπων: αναζητήστε μια ρύθμιση όπως "απόκρυψη από μηχανές αναζήτησης".
Δημιουργία ή τροποποίηση του robots.txt
Σε ένα πακέτο hosting, το robots.txt βρίσκεται στον φάκελο ιστού του domain σας, στο DirectAdmin στον φάκελο public_html. Δημιουργείτε ή επεξεργάζεστε το αρχείο μέσω της Διαχείρισης αρχείων ή FTP, δείτε Άνοιγμα Διαχείρισης αρχείων: οι φάκελοι στο πακέτο σας. Ένα παράδειγμα:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *ισχύει για όλα τα ρομπότ αναζήτησης.Disallow:με μια διαδρομή απαγορεύει οτιδήποτε ξεκινά με αυτή τη διαδρομή.Disallow: /απαγορεύει ολόκληρο τον ιστότοπο.- Αν δημιουργήσετε και μια ομάδα
User-agent: Googlebot, τότε το Google ακολουθεί μόνο αυτή την ομάδα και αγνοεί την ομάδα*. Επαναλάβετε λοιπόν εκεί όλους τους κανόνες που ισχύουν και για το Google. - Μην αποκλείετε φακέλους με stylesheets, scripts ή εικόνες που χρειάζεται η σελίδα σας.
- Αν δεν υπάρχει robots.txt δεν είναι πρόβλημα: τότε επιτρέπονται όλα. Αν η διεύθυνση επιστρέφει σφάλμα διακομιστή, το Google σταματά προσωρινά την ανάκτηση.
Το WordPress δημιουργεί μόνο του ένα robots.txt όσο δεν υπάρχει αρχείο στον φάκελο ιστού. Ο AI Builder τοποθετεί κατά τη δημοσίευση μόνος του ένα robots.txt με μια γραμμή Sitemap:.
Το Google αποθηκεύει το robots.txt σας συνήθως έως 24 ώρες. Στο Search Console θα βρείτε στις Ρυθμίσεις την αναφορά robots.txt: ποια έκδοση ανέκτησε τελευταία το Google, με σφάλματα και προειδοποιήσεις, και ένα κουμπί για να το ανακτήσει ξανά.
Μια διαγραμμένη σελίδα: 404 ή 410, όχι soft 404
Αν έχετε διαγράψει μια σελίδα, η διεύθυνση θα πρέπει να επιστρέφει τον κωδικό κατάστασης 404 (δεν βρέθηκε) ή 410 (έχει εξαφανιστεί). Κατά την επόμενη επίσκεψη, το Google αφαιρεί τότε τη διεύθυνση από τα αποτελέσματα αναζήτησης. Αν η σελίδα έχει διάδοχο, ανακατευθύνετε την παλιά διεύθυνση με 301 προς τη νέα σελίδα, δείτε Ανακατεύθυνση Site: προώθηση ενός domain ή μιας σελίδας.
Ένα soft 404 είναι μια σελίδα που δηλώνει ότι δεν υπάρχει, ή είναι σχεδόν κενή, αλλά παρ' όλα αυτά επιστρέφει τον κωδικό 200 (βρέθηκε). Το Google το αναγνωρίζει συχνά και δεν συμπεριλαμβάνει μια τέτοια σελίδα. Στο Search Console το βλέπετε ως αιτία Soft 404. Επίσης η ανακατεύθυνση όλων των διαγραμμένων σελίδων προς την αρχική σας σελίδα μπορεί να θεωρηθεί soft 404. Φροντίστε λοιπόν μια σελίδα που έχει πραγματικά εξαφανιστεί να επιστρέφει πραγματικό 404 ή 410.
Πρέπει μια σελίδα να αφαιρεθεί γρήγορα από τα αποτελέσματα, για παράδειγμα επειδή κατά λάθος περιείχε προσωπικά δεδομένα; Χρησιμοποιήστε τότε τις Διαγραφές στο Search Console. Αυτό λειτουργεί προσωρινά, περίπου έξι μήνες. Φροντίστε λοιπόν επιπλέον η σελίδα να έχει 404, 410, κωδικό πρόσβασης ή noindex.
Περαιτέρω ανάγνωση
- Google: Αποκλεισμός ευρετηρίασης με noindex (Αγγλικά)
- Google: Εισαγωγή στο robots.txt (Αγγλικά)
- Google: Αναφορά robots.txt
- Αποκλεισμός αρχείων μέσω .htaccess
Χρησιμοποιείτε WordPress; Στο μάθημα Ανιχνευσιμότητα: τα βασικά του δωρεάν μαθήματος WordPress διαβάζετε περισσότερα για το robots.txt και το πλαίσιο ελέγχου Αποθάρρυνση μηχανών αναζήτησης.