Να επιτρέψετε ή να αποκλείσετε τους AI crawlers: robots.txt και llms.txt
Υπηρεσίες AI όπως τα ChatGPT, Claude, Gemini και Perplexity ανακτούν ιστοσελίδες για να εκπαιδεύσουν μοντέλα, για να δώσουν απαντήσεις αναζήτησης ή για να απαντήσουν σε ερώτηση ενός χρήστη. Με το robots.txt ορίζετε ποια από αυτά τα robots μπορούν να επισκέπτονται τον ιστότοπό σας. Υπάρχει επίσης η πρόταση llms.txt. Σε αυτό το άρθρο θα δείτε ποια robots υπάρχουν, πώς τα επιτρέπετε ή τα αποκλείετε και τι κάνει και τι δεν κάνει το llms.txt. Ως παράδειγμα χρησιμοποιούμε το example.com.
1. Τα σημαντικότερα AI robots
Οι περισσότερες εταιρείες AI χρησιμοποιούν ξεχωριστά ονόματα για την εκπαίδευση, την αναζήτηση και την ανάκτηση κατόπιν αιτήματος χρήστη. Έτσι μπορείτε, για παράδειγμα, να αποκλείσετε την εκπαίδευση και παράλληλα να εξακολουθείτε να εμφανίζεστε στις απαντήσεις αναζήτησης.
| Όνομα στο robots.txt | Από | Σκοπός |
|---|---|---|
GPTBot | OpenAI | Συλλογή σελίδων που μπορεί να χρησιμοποιηθούν για την εκπαίδευση μοντέλων |
OAI-SearchBot | OpenAI | Η λειτουργία αναζήτησης του ChatGPT. Αν το αποκλείσετε, ο ιστότοπός σας δεν θα εμφανίζεται στις απαντήσεις αναζήτησης του ChatGPT |
ChatGPT-User | OpenAI | Ανάκτηση μιας σελίδας όταν το ζητήσει ένας χρήστης. Σύμφωνα με την OpenAI, το robots.txt ενδέχεται να μην ισχύει εδώ |
ClaudeBot | Anthropic | Συλλογή σελίδων που μπορεί να χρησιμοποιηθούν για την εκπαίδευση μοντέλων |
Claude-SearchBot | Anthropic | Ευρετηρίαση σελίδων για τη λειτουργία αναζήτησης του Claude |
Claude-User | Anthropic | Ανάκτηση μιας σελίδας όταν το ζητήσει ένας χρήστης |
Google-Extended | Δεν είναι ξεχωριστό robot, αλλά ένα όνομα με το οποίο δηλώνετε αν η Google μπορεί να χρησιμοποιεί το περιεχόμενό σας για την εκπαίδευση των μοντέλων Gemini και για grounding. Σύμφωνα με την Google, αυτό δεν επηρεάζει τη θέση σας στην Αναζήτηση Google | |
PerplexityBot | Perplexity | Εμφάνιση και σύνδεση ιστότοπων στα αποτελέσματα αναζήτησης του Perplexity, όχι για εκπαίδευση |
Perplexity-User | Perplexity | Ανάκτηση μιας σελίδας όταν το ζητήσει ένας χρήστης. Σύμφωνα με την Perplexity, αυτό συνήθως αγνοεί το robots.txt |
Η λίστα αλλάζει τακτικά. Για τα τρέχοντα ονόματα, ανατρέξτε στην τεκμηρίωση των OpenAI, Anthropic, Google και Perplexity.
2. Ένα παράδειγμα robots.txt
Αυτό το παράδειγμα αποκλείει την εκπαίδευση μοντέλων, αλλά επιτρέπει τα robots αναζήτησης και τις κανονικές μηχανές αναζήτησης:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Ένα robot ακολουθεί μόνο την ομάδα με το δικό του όνομα, διαφορετικά την ομάδα
*. Στο παράδειγμα, λοιπόν, το GPTBot δεν έχει πρόσβαση πουθενά και τοDisallow: /winkelmand/δεν ισχύει για το GPTBot. - Αν θέλετε να επιτρέψετε όλα τα AI robots, δεν χρειάζεται να κάνετε τίποτα: χωρίς κανόνες, όλα επιτρέπονται.
- Αν αποκλείσετε κατά λάθος ένα robot αναζήτησης, όπως το
OAI-SearchBot, τοClaude-SearchBotή τοPerplexityBot, ο ιστότοπός σας θα εντοπίζεται δυσκολότερα σε αυτές τις υπηρεσίες αναζήτησης AI. - Ο αποκλεισμός ισχύει μόνο για το μέλλον. Ό,τι έχει ήδη ανακτηθεί δεν ανακαλείται με αυτόν.
public_html του domain σας. Το δημιουργείτε ή το επεξεργάζεστε μέσω του File Manager ή μέσω FTP. Το WordPress δημιουργεί αυτόματα ένα robots.txt όσο δεν υπάρχει αρχείο, και ο AI Builder τοποθετεί αυτόματα ένα κατά τη δημοσίευση. Περισσότερα για τον τρόπο λειτουργίας του robots.txt θα βρείτε στο Πώς να κρατήσετε μια σελίδα εκτός Google: robots.txt ή noindex;.3. Τι είναι το llms.txt;
Το llms.txt είναι μια πρόταση του 2024 για ένα αρχείο κειμένου στη διεύθυνση https://example.com/llms.txt. Σε αυτό γράφετε σε Markdown μια σύντομη περιγραφή του ιστότοπού σας και συνδέσμους προς τις σημαντικότερες σελίδες, ώστε μια υπηρεσία AI να βλέπει γρήγορα πού βρίσκονται οι σωστές πληροφορίες. Ένα απλό παράδειγμα:
# Αρτοποιείο Παράδειγμα > Παραδοσιακό αρτοποιείο στη Θεσσαλονίκη με ψωμί, γλυκά και τούρτες κατά παραγγελία. ## Σημαντικές σελίδες - [Προϊόντα](https://example.com/assortiment): ψωμί, γλυκά και τούρτες - [Παραγγελία](https://example.com/bestellen): παραγγελία και παραλαβή τούρτας - [Επικοινωνία](https://example.com/contact): διεύθυνση και ωράριο λειτουργίας
Καλό είναι να γνωρίζετε:
- Το llms.txt δεν είναι επίσημο πρότυπο, αλλά πρόταση. Δεν υπάρχει εγγύηση ότι οι υπηρεσίες AI διαβάζουν το αρχείο. Η Google έχει δηλώσει ότι η Αναζήτηση Google δεν το χρησιμοποιεί.
- Το llms.txt δεν αποκλείει τίποτα. Αν θέλετε να αποκλείσετε robots, χρησιμοποιήστε το robots.txt.
- Το αρχείο δεν δημιουργείται αυτόματα: το δημιουργείτε μόνοι σας ή αναθέτετε τη δημιουργία του σε ένα plugin.
4. Δημιουργία llms.txt στο WordPress
Τα γνωστά plugins SEO μπορούν να δημιουργήσουν και να ενημερώνουν το llms.txt για εσάς:
- Yoast SEO: μεταβείτε στα Yoast SEO, Ρυθμίσεις, Λειτουργίες ιστότοπου και ενεργοποιήστε το llms.txt στις λειτουργίες AI. Μπορείτε να αφήσετε το Yoast να επιλέξει τις σελίδες ή να τις ορίσετε εσείς.
- Rank Math: ενεργοποιήστε στον Πίνακα ελέγχου του Rank Math τη μονάδα LLMS Txt. Στη συνέχεια, θα βρείτε τις ρυθμίσεις στις Γενικές ρυθμίσεις.
Τα ονόματα των μενού διαφέρουν ανάλογα με την έκδοση. Αν δεν βλέπετε την επιλογή, ενημερώστε το plugin. Στη συνέχεια, μπορείτε να δείτε το αρχείο στη διεύθυνση https://paradeigma.gr/llms.txt.
Χωρίς WordPress, δημιουργείτε το αρχείο μόνοι σας: ένα αρχείο κειμένου llms.txt στον φάκελο public_html, όπως και το robots.txt.
Αναλυτική επεξήγηση με στιγμιότυπα οθόνης: Sitemap και robots.txt στο WordPress και στον δικό σας ιστότοπο και Sitemap και robots.txt στον AI Builder στον οδηγό Εμφάνιση στο διαδίκτυο.
Θέλετε να μάθετε περισσότερα; Παρακολουθήστε το δωρεάν μάθημα Εμφάνιση στο διαδίκτυο, ενότητα 3.3 robots.txt: τι αποκλείετε και τι όχι.