hacktricks/network-services-pentesting/pentesting-web/uncovering-cloudflare.md

Αποκάλυψη του CloudFlare

Μάθετε το χάκινγκ στο AWS από το μηδέν μέχρι τον ήρωα με το htARTE (HackTricks AWS Red Team Expert)!

Άλλοι τρόποι υποστήριξης του HackTricks:

• Αν θέλετε να δείτε την εταιρεία σας διαφημισμένη στο HackTricks ή να κατεβάσετε το HackTricks σε μορφή PDF ελέγξτε τα ΣΧΕΔΙΑ ΣΥΝΔΡΟΜΗΣ!
• Αποκτήστε το επίσημο PEASS & HackTricks swag
• Ανακαλύψτε την Οικογένεια PEASS, τη συλλογή μας από αποκλειστικά NFTs
• Εγγραφείτε στη 💬 ομάδα Discord ή στη ομάδα telegram ή ακολουθήστε μας στο Twitter 🐦 @carlospolopm.
• Μοιραστείτε τα χάκινγκ κόλπα σας υποβάλλοντας PRs στα HackTricks και HackTricks Cloud αποθετήρια του GitHub.

Κοινές Τεχνικές για την Αποκάλυψη του Cloudflare

• Μπορείτε να χρησιμοποιήσετε κάποιο υπηρεσία που σας δίνει τα ιστορικά DNS records του domain. Ίσως η ιστοσελίδα να λειτουργεί σε μια διεύθυνση IP που χρησιμοποιήθηκε πριν.
• Το ίδιο μπορεί να επιτευχθεί ελέγχοντας ιστορικά πιστοποιητικά SSL που θα μπορούσαν να δείχνουν στην πραγματική IP διεύθυνση.
• Ελέγξτε επίσης τα DNS records άλλων υποτομέων που δείχνουν απευθείας σε IPs, καθώς είναι πιθανό να υπάρχουν άλλα υποτομεία που δείχνουν στον ίδιο διακομιστή (ίσως για να προσφέρουν FTP, ταχυδρομείο ή οποιαδήποτε άλλη υπηρεσία).
• Αν βρείτε ένα SSRF μέσα στην εφαρμογή του web μπορείτε να το εκμεταλλευτείτε για να αποκτήσετε την IP διεύθυνση του διακομιστή.
• Αναζητήστε ένα μοναδικό string της ιστοσελίδας σε περιηγητές όπως το shodan (και ίσως στο google και παρόμοια;). Ίσως μπορείτε να βρείτε μια IP διεύθυνση με αυτό το περιεχόμενο.
• Με παρόμοιο τρόπο αντί να ψάχνετε για ένα μοναδικό string μπορείτε να αναζητήσετε το εικονίδιο favicon με το εργαλείο: https://github.com/karma9874/CloudFlare-IP ή με το https://github.com/pielco11/fav-up
• Αυτό δεν θα λειτουργήσει πολύ συχνά επειδή ο διακομιστής πρέπει να στείλει την ίδια απάντηση όταν προσπελαύνεται με τη διεύθυνση IP, αλλά ποτέ δεν ξέρετε.

Εργαλεία για την Αποκάλυψη του Cloudflare

• Αναζητήστε το domain στο http://www.crimeflare.org:82/cfs.html ή https://crimeflare.herokuapp.com. Ή χρησιμοποιήστε το εργαλείο CloudPeler (το οποίο χρησιμοποιεί αυτήν την API)
• Αναζητήστε το domain στο https://leaked.site/index.php?resolver/cloudflare.0/
• CloudFlair είναι ένα εργαλείο που θα αναζητήσει χρησιμοποιώντας πιστοποιητικά Censys που περιέχουν το όνομα του domain, στη συνέχεια θα αναζητήσει τις IPv4 μέσα σε αυτά τα πιστοποιητικά και τέλος θα προσπαθήσει να έχει πρόσβαση στην ιστοσελίδα σε αυτές τις IPs.
• CloakQuest3r: Το CloakQuest3r είναι ένα ισχυρό εργαλείο Python που έχει σχεδιαστεί με προσοχή για να αποκαλύψει την πραγματική IP διεύθυνση ιστοσελίδων που προστατεύονται από το Cloudflare και άλλες εναλλακτικές λύσεις, ένα ευρέως υιοθετημένο υπηρεσία ασφαλείας και βελτίωσης της απόδοσης του web. Η κύρια αποστολή του είναι να διακρίνει με ακρίβεια την πραγματική IP διεύθυνση των διακομιστών ιστοσελίδων που κρύβονται πίσω από την προστατευτική ασπίδα του Cloudflare.
• Censys
• Shodan
• Bypass-firewalls-by-DNS-history
• Αν έχετε ένα σύνολο πιθανών IPs όπου βρίσκεται η ιστοσελίδα μπορείτε να χρησιμοποιήσετε το https://github.com/hakluke/hakoriginfinder

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Αποκάλυψη του Cloudflare από την υποδομή Cloud

Σημείωση ότι ακόμα κι αν αυτό έγινε για μηχανήματα AWS, θα μπορούσε να γίνει για οποιονδήποτε άλλο πάροχο cloud.

Για μια καλύτερη περιγραφή αυτής της διαδικασίας, ελέγξτε:

{% embed url="https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks" %}

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Παράκαμψη του Cloudflare μέσω του Cloudflare

Εξουσιοδοτημένες Αρχικές Επιλογές

Αυτός ο μηχανισμός βασίζεται σε πιστοποιητικά SSL του πελάτη για την επαλήθευση συνδέσεων μεταξύ των αντίστροφων διακομιστών του Cloudflare και του αρχικού διακομιστή, που ονομάζεται mTLS.

Αντί να διαμορφώσει το δικό του πιστοποιητικό, οι πελάτες μπορούν απλά να χρησιμοποιήσουν το πιστοποιητικό του Cloudflare για να επιτρέψουν οποιαδήποτε σύνδεση από το Cloudflare, ανεξάρτητα από τον ενοικιαστή.

{% hint style="danger" %} Συνεπώς, ένας επιτιθέμενος θα μπορούσε απλά να ορίσει ένα domain στο Cloudflare χρησιμοποιώντας το πιστοποιητικό του Cloudflare και να τον κατευθύνει προς τη διεύθυνση IP του θύματος. Με αυτόν τον τρόπο, ορίζοντας τον δικό του τομέα εντελώς ανεπτυγμένο, το Cloudflare δεν θα προστατεύσει τις αιτήσεις που στέλνονται. {% endhint %}

Περισσότερες πληροφορίες εδώ.

Επιτρεπόμενες Διευθύνσεις IP του Cloudflare

Αυτό θα απορρίψει συνδέσεις που δεν προέρχονται από τις διευθύνσεις IP του Cloudflare. Αυτό είναι επίσης ευάλωτο στην προηγούμενη ρύθμιση όπου ένας επιτιθέμενος απλά κατευθύνει τον δικό του τομέα στο Cloudflare προς τη διεύθυνση IP του θύματος και το επιτίθεται.

Περισσότερες πληροφορίες εδώ.

Παράκαμψη του Cloudflare για scraping

Προσωρινή Αποθήκευση

Μερικές φορές θέλετε απλά να παρακάμψετε το Cloudflare για να κάνετε scraping τη σελίδα. Υπάρχουν μερικές επιλογές γι' αυτό:

• Χρησιμοποιήστε την αποθήκευση της Google: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
• Χρησιμοποιήστε άλλες υπηρεσίες αποθήκευσης όπως η https://archive.org/web/

Εργαλεία

Κάποια εργαλεία όπως τα παρακάτω μπορούν να παρακάμψουν (ή μπορούσαν να παρακάμψουν) την προστασία του Cloudflare ενάντια στο scraping:

• https://github.com/sarperavci/CloudflareBypassForScraping

Επιλυτές του Cloudflare

Έχουν αναπτυχθεί αρκετοί επιλυτές του Cloudflare:

• FlareSolverr
• cloudscraper Οδηγός εδώ
• cloudflare-scrape
• CloudflareSolverRe
• Cloudflare-IUAM-Solver
• cloudflare-bypass [Αρχειοθετημένο]
• CloudflareSolverRe

Ενισχυμένοι Ανενεργοί Περιηγητές

Χρησιμοποιήστε έναν ανενεργό περιηγητή που δεν ανιχνεύεται ως αυτοματοποιημένος περιηγητής (μπορεί να χρειαστεί να τον προσαρμόσετε γι' αυτό). Μερικές επιλογές είναι:

• Puppeteer: Το πρόσθετο stealth για το puppeteer.
• Playwright: Το πρόσθετο stealth έρχεται σύντομα στο Playwright. Ακολουθήστε τις εξελίξεις εδώ και εδώ.
• Selenium: Το undetected-chromedriver μια βελτιστοποιημένη επιδιόρθωση του Selenium Chromedriver.

Έξυπνος Διακομιστής Με Ενσωματωμένη Παράκαμψη του Cloudflare

Οι έξυπνοι διακομιστές ενημερώνονται συνεχώς από εξειδικευμένες εταιρείες, με στόχο να υπερβούν τα μέτρα ασφαλείας του Cloudflare (καθώς αυτό είναι το επάγγελμά τους).

Μερικοί από αυτούς είναι:

• ScraperAPI
• Scrapingbee
• Oxylabs
• Smartproxy είναι γνωστοί για τους προστατευτικούς μηχανισμούς παράκαμψης του Cloudflare που διαθέτουν.

Για όσους αναζητούν μια βελτιστοποιημένη λύση, το ScrapeOps Proxy Aggregator ξεχωρίζει. Αυτή η υπηρεσία ενσωματώνει πάνω από 20 παρόχους διακομιστών σε ένα μόνο API, επιλέγοντας αυτόματα τον καλύτερο και πιο οικονομικό διακομιστή για τους στόχους σας, προσφέροντας έτσι μια υπεροχή επιλογή για την πλοήγηση στις αμυντικές διατάξεις του Cloudflare.

Αντιστροφή της Προστασίας Αντι-Bot του Cloudflare

Η αντιστροφή των μέτρων αντι-bot του Cloudflare είναι μια τακτική που χρησιμοποιείται από εξειδικευμένους παρόχους έξυπνων διακομιστών, κατάλληλη για εκτεταμένο web scraping χωρίς το υψηλό κόστος της λειτουργίας πολλών ανενεργών περιηγητών.

Πλεονεκτήματα: Αυτή η μέθοδος επιτρέπει τη δημιουργία μιας εξαιρετικά αποτελεσματικής παράκαμψης που στοχεύει ειδικά στους ελέγχους του Cloudflare, ιδανική για λειτουργίες μεγάλης κλίμακας.

Μειονεκτήματα: Το μειονέκτημα είναι η πολυπλοκότητα που συνεπάγεται η κατανόηση και η παραπλάνηση του σκοπίμως ασαφούς συστήματος αντι-bot του Cloudflare, απαιτώντας συνεχή προσπάθεια για να δοκιμάσετε διαφορετικές στρατηγικές και να ενημερώνετε την παράκαμψη καθώς το Cloudflare βελτιώνει τις προστασίες του.

Βρείτε περισσότερες πληροφορίες σχετικά με το πώς να το κάνετε αυτό στο πρωτότυπο άρθρο.

Αναφορές

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/

Μάθετε το χάκινγκ του AWS από το μηδέν μέχρι τον ήρωα με το htARTE (HackTricks AWS Red Team Expert)!

Άλλοι τρόποι υποστήριξης του HackTricks:

• Αν θέλετε να δείτε την εταιρεία σας διαφημισμένη στο HackTricks ή να κατεβάσετε το HackTricks σε PDF ελέγξτε τα ΣΧΕΔΙΑ ΣΥΝΔΡΟΜΗΣ!
• Αποκτήστε το επίσημο PEASS & HackTricks swag
• Ανακαλύψτε [**την