Πώς να κρατήσετε μια σελίδα εκτός Google: robots.txt ή noindex;
Δεν θέλετε μια σελίδα να εμφανίζεται στο Google, για παράδειγμα μια σελίδα ευχαριστιών, μια δοκιμαστική σελίδα ή μια παλιά προσφορά; Πολλοί σκέφτονται τότε το αρχείο robots.txt. Όμως το robots.txt δεν κρατά μια σελίδα έξω από το Google. Γι' αυτό υπάρχει το noindex. Σε αυτό το άρθρο θα διαβάσετε τη διαφορά, πώς χρησιμοποιείτε και τα δύο και τι κάνετε με μια σελίδα που έχετε διαγράψει. Χρησιμοποιούμε το example.com ως παράδειγμα.
Η διαφορά με λίγα λόγια
| robots.txt | noindex | |
|---|---|---|
| Τι λέει | "Μην ανακτάτε αυτή τη σελίδα." | "Μην συμπεριλαμβάνετε αυτή τη σελίδα στα αποτελέσματα αναζήτησης." |
| Κρατά μια σελίδα έξω από το Google; | Όχι. Αν άλλοι παραπέμπουν στη σελίδα, η διεύθυνση μπορεί να εμφανιστεί παρ' όλα αυτά, χωρίς περιγραφή. | Ναι, μόλις το Google επισκεφθεί ξανά τη σελίδα. |
| Πού βρίσκεται; | Ένα αρχείο στη διεύθυνση https://example.com/robots.txt | Μέσα στην ίδια τη σελίδα ή ως κεφαλίδα που στέλνει ο server |
| Για ποιο σκοπό το χρησιμοποιείτε; | Για την καθοδήγηση της ανίχνευσης, για παράδειγμα για να παραλείπονται οι σελίδες αποτελεσμάτων αναζήτησης του δικού σας site | Για σελίδες που παραμένουν προσβάσιμες, αλλά δεν ανήκουν στο Google |
Κανένα από τα δύο δεν αποτελεί μέτρο ασφαλείας. Οποιοσδήποτε μπορεί να διαβάσει το robots.txt σας, και μια σελίδα με noindex παραμένει κανονικά προσβάσιμη. Αν κάτι πρέπει πραγματικά να προστατευτεί, τοποθετήστε το πίσω από έναν κωδικό πρόσβασης. Δείτε Προστασία ενός φακέλου με κωδικό πρόσβασης στο DirectAdmin.
Χρήση του noindex
Προσθέστε αυτή τη γραμμή στο <head> της σελίδας:
<meta name="robots" content="noindex">
Για αρχεία χωρίς HTML, όπως ένα pdf, ο server μπορεί να στείλει την ίδια οδηγία ως κεφαλίδα: X-Robots-Tag: noindex. Το αποτέλεσμα είναι το ίδιο.
Συνήθως δεν χρειάζεται να το πληκτρολογήσετε μόνοι σας:
- AI Builder: ανοίξτε την ενότητα SEO, επιλέξτε τη σελίδα και, στην ενότητα Περισσότερα για αυτή τη σελίδα, απενεργοποιήστε τον διακόπτη Αυτή η σελίδα είναι ορατή στο Google. Η σελίδα παραμένει προσβάσιμη, αλλά λαμβάνει noindex. Στη συνέχεια, κάντε ξανά δημοσίευση.
- WordPress: ένα πρόσθετο SEO διαθέτει για κάθε σελίδα μια ρύθμιση ώστε η σελίδα να μην καταχωρίζεται στο ευρετήριο. Η επιλογή Αποθάρρυνση των μηχανών αναζήτησης από την καταχώριση αυτού του ιστότοπου στις Ρυθμίσεις, Ανάγνωση ισχύει για ολόκληρο το site.
- Άλλα εργαλεία κατασκευής ιστοσελίδων: αναζητήστε μια ρύθμιση όπως "απόκρυψη από τις μηχανές αναζήτησης".
Δημιουργία ή επεξεργασία του robots.txt
Σε ένα πακέτο hosting, το robots.txt βρίσκεται στον web φάκελο του domain σας, στο DirectAdmin στον φάκελο public_html. Δημιουργείτε ή επεξεργάζεστε το αρχείο μέσω της Διαχείρισης αρχείων (File Manager) ή μέσω FTP, δείτε Άνοιγμα της Διαχείρισης αρχείων: οι φάκελοι στο πακέτο σας. Ένα παράδειγμα:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Το
User-agent: *ισχύει για όλα τα ρομπότ αναζήτησης. ΤοDisallow:με μια διαδρομή απαγορεύει οτιδήποτε ξεκινά με αυτή τη διαδρομή. ΤοDisallow: /απαγορεύει ολόκληρο το site. - Αν δημιουργήσετε και μια ομάδα
User-agent: Googlebot, το Google ακολουθεί μόνο αυτή την ομάδα και αγνοεί την ομάδα*. Επαναλάβετε λοιπόν εκεί όλους τους κανόνες που ισχύουν και για το Google. - Μην αποκλείετε φακέλους με stylesheets, scripts ή εικόνες που χρειάζεται η σελίδα σας.
- Η απουσία robots.txt δεν αποτελεί πρόβλημα: τότε επιτρέπονται όλα. Αν η διεύθυνση επιστρέφει σφάλμα server, το Google σταματά προσωρινά την ανάκτηση.
Το WordPress δημιουργεί αυτόματα ένα robots.txt όσο δεν υπάρχει αρχείο στον web φάκελο. Ο AI Builder δημιουργεί αυτόματα κατά τη δημοσίευση ένα robots.txt με μια γραμμή Sitemap:.
Αναλυτική επεξήγηση με στιγμιότυπα οθόνης: Sitemap και robots.txt στον AI Builder και Sitemap και robots.txt στο WordPress και στο δικό σας site στον οδηγό Εμφάνιση στο διαδίκτυο.
Το Google διατηρεί συνήθως το robots.txt σας έως και 24 ώρες. Στο Search Console, στις Ρυθμίσεις, θα βρείτε την αναφορά robots.txt: ποια έκδοση ανέκτησε τελευταία φορά το Google, με σφάλματα και προειδοποιήσεις, καθώς και ένα κουμπί για να ζητήσετε νέα ανάκτηση.
Μια διαγραμμένη σελίδα: 404 ή 410, όχι soft 404
Αν έχετε διαγράψει μια σελίδα, η διεύθυνση πρέπει να επιστρέφει τον κωδικό κατάστασης 404 (δεν βρέθηκε) ή 410 (καταργήθηκε). Στην επόμενη επίσκεψη, το Google αφαιρεί τότε τη διεύθυνση από τα αποτελέσματα αναζήτησης. Αν η σελίδα έχει διάδοχο, ανακατευθύνετε την παλιά διεύθυνση με 301 στη νέα σελίδα, δείτε Site Redirection: ανακατεύθυνση ενός domain ή μιας σελίδας.
Ένα soft 404 είναι μια σελίδα που αναφέρει ότι δεν υπάρχει ή είναι σχεδόν κενή, αλλά παρ' όλα αυτά επιστρέφει τον κωδικό 200 (βρέθηκε). Το Google συχνά το αναγνωρίζει και δεν συμπεριλαμβάνει μια τέτοια σελίδα. Στο Search Console το βλέπετε ως αιτία Soft 404. Ακόμη και η ανακατεύθυνση όλων των διαγραμμένων σελίδων στην αρχική σας σελίδα μπορεί να θεωρηθεί soft 404. Φροντίστε λοιπόν μια σελίδα που πράγματι δεν υπάρχει πια να επιστρέφει πραγματικό 404 ή 410.
Πρέπει μια σελίδα να αφαιρεθεί γρήγορα από τα αποτελέσματα, για παράδειγμα επειδή περιείχε κατά λάθος προσωπικά δεδομένα; Χρησιμοποιήστε τότε τις Καταργήσεις στο Search Console. Αυτό λειτουργεί προσωρινά, για περίπου έξι μήνες. Γι' αυτό φροντίστε επίσης η σελίδα να έχει 404, 410, κωδικό πρόσβασης ή noindex.
Περισσότερα
- Google: Αποκλεισμός ευρετηρίασης με noindex (στα Αγγλικά)
- Google: Εισαγωγή στο robots.txt (στα Αγγλικά)
- Google: Αναφορά robots.txt
- Αποκλεισμός αρχείων μέσω .htaccess
Χρησιμοποιείτε WordPress; Στο μάθημα Ορατότητα στις μηχανές αναζήτησης: τα βασικά του δωρεάν μαθήματος WordPress θα διαβάσετε περισσότερα για το robots.txt και την επιλογή αποθάρρυνσης των μηχανών αναζήτησης.
Θέλετε να μάθετε περισσότερα; Παρακολουθήστε το δωρεάν μάθημα Εμφάνιση στο διαδίκτυο, ενότητα 3.3 robots.txt: τι αποκλείετε και τι όχι.
Θέλετε να μάθετε περισσότερα; Παρακολουθήστε το δωρεάν μάθημα Ορατότητα στο διαδίκτυο, ενότητα 3.3 robots.txt: τι αποκλείετε και τι όχι.