User-agent: *
Disallow: /app/
Disallow: /store_closed.html

# --- Σκουπιδια διευθυνσεων (2026-09-11, session «CPANEL LOAD FIX») ---
# ΛΟΓΟΣ: στις 10/09 το profitshop.gr δεχτηκε 645.182 αιτηματα. Τα 418.697 απο
#        διευθυνσεις Google, και τα 357.260 απο αυτα (85%) ειχαν παραμετρους
#        ταξινομησης/διαταξης. Καθε παραλλαγη φτιαχνει ΞΕΧΩΡΙΣΤΟ αρχειο μνημης
#        στο var/cache/registry -> 5,8 GB σε 2 ωρες, ο δισκος εβγαινε 2-4 GB/ωρα.
#        Μετρημενες παραμετροι: dispatch 266.140, redirect_url 156.291,
#        sort_by/sort_order 103.825, items_per_page 95.734, layout 83.118.
#
# ΔΕΝ κοβουμε: page= (πραγματικη σελιδοποιηση), sl= (γλωσσα), product_id=,
#             ουτε το σκετο dispatch= (μπορει να κρυβει νομιμες εισοδους).
#             ΣΥΝΤΗΡΗΤΙΚΟ ΠΡΩΤΟ ΒΗΜΑ - επανεξεταση 12/09.
#
# ΣΗΜΕΙΩΣΗ: το robots.txt σταματαει τη ΣΑΡΩΣΗ, δεν σβηνει οσα ειναι ηδη στο
#           ευρετηριο. Θελει μερες να φανει.
#
# ΕΠΑΝΑΦΟΡΑ: cp -p /home/profitshop/public_html/robots.txt.bak-2026-09-11 \
#            /home/profitshop/public_html/robots.txt
Disallow: /*sort_by=
Disallow: /*sort_order=
Disallow: /*items_per_page=
Disallow: /*layout=
Disallow: /*redirect_url=
Disallow: /*post_redirect_url=
Disallow: /*prev_url=
Disallow: /*n_items=
Disallow: /*obj_prefix=
Disallow: /*selected_section=
Disallow: /*dispatch=product_features.

# --- No-value AI/SEO crawlers — full block (2026-07-23, session «CPANEL LOAD FIX») ---
# Λογος: ~67% ολου του traffic, μηδεν πελατες/SEO. Δεν αγγιζουμε Googlebot/bingbot/
# facebookexternalhit (φερνουν πελατες & FB/IG previews). Revert: robots.txt.bak-2026-07-23

User-agent: meta-externalagent
Disallow: /

User-agent: meta-webindexer
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Bytespider
Disallow: /

# Προστεθηκαν 2026-08-10 (session CPANEL LOAD FIX) - απαιτηση χρηστη.
# Λογος: MJ12bot 3,2 GB / YouBot 1,7 GB σε 2 μερες, μηδεν πελατες.
# Και τα δυο διαβαζουν robots.txt (επαληθευτηκε: 7 και 29 αιτηματα/ωρα).
# Επαναφορα: cp -p robots.txt.bak-2026-08-10 robots.txt
User-agent: MJ12bot
Disallow: /

User-agent: YouBot
Disallow: /

# ΔΟΚΙΜΗ ΚΑΘΥΣΤΕΡΗΣΗΣ - μπηκε 2026-08-11 (session CPANEL LOAD FIX).
# Δεν τα κοβουμε, τους ζηταμε να πανε πιο αργα. Θα μετρηθει αν το σεβονται.
# Μετρημενα πριν (MB/ωρα): serpstatbot 193, Claude-SearchBot 122,
# DataForSeoBot 14, SERanking 17, Semrush 98 (profitstore), Amzn-SearchBot.
# Επαναφορα: cp -p robots.txt.bak-2026-08-11-delay robots.txt
User-agent: serpstatbot
Crawl-delay: 30

User-agent: DataForSeoBot
Crawl-delay: 30

User-agent: SERankingBacklinksBot
Crawl-delay: 30

User-agent: SemrushBot
Crawl-delay: 30

User-agent: Amzn-SearchBot
Crawl-delay: 30

User-agent: Claude-SearchBot
Crawl-delay: 10