hacktricks/network-services-pentesting/pentesting-web/uncovering-cloudflare.md

161 lines
17 KiB
Markdown
Raw Normal View History

2024-02-10 22:40:18 +00:00
# Αποκάλυψη του CloudFlare
2022-04-28 16:01:33 +00:00
<details>
<summary><strong>Μάθετε το χάκινγκ στο AWS από το μηδέν μέχρι τον ήρωα με το</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
2022-04-28 16:01:33 +00:00
Άλλοι τρόποι υποστήριξης του HackTricks:
2023-12-31 01:24:39 +00:00
* Αν θέλετε να δείτε την **εταιρεία σας διαφημισμένη στο HackTricks** ή να **κατεβάσετε το HackTricks σε μορφή PDF** ελέγξτε τα [**ΣΧΕΔΙΑ ΣΥΝΔΡΟΜΗΣ**](https://github.com/sponsors/carlospolop)!
2024-02-10 22:40:18 +00:00
* Αποκτήστε το [**επίσημο PEASS & HackTricks swag**](https://peass.creator-spring.com)
* Ανακαλύψτε [**την Οικογένεια PEASS**](https://opensea.io/collection/the-peass-family), τη συλλογή μας από αποκλειστικά [**NFTs**](https://opensea.io/collection/the-peass-family)
* **Εγγραφείτε στη** 💬 [**ομάδα Discord**](https://discord.gg/hRep4RUj7f) ή στη [**ομάδα telegram**](https://t.me/peass) ή **ακολουθήστε** μας στο **Twitter** 🐦 [**@carlospolopm**](https://twitter.com/hacktricks\_live)**.**
* **Μοιραστείτε τα χάκινγκ κόλπα σας υποβάλλοντας PRs** στα [**HackTricks**](https://github.com/carlospolop/hacktricks) και [**HackTricks Cloud**](https://github.com/carlospolop/hacktricks-cloud) αποθετήρια του GitHub.
2022-04-28 16:01:33 +00:00
</details>
2024-02-10 22:40:18 +00:00
## Κοινές Τεχνικές για την Αποκάλυψη του Cloudflare
* Μπορείτε να χρησιμοποιήσετε κάποιο υπηρεσία που σας δίνει τα **ιστορικά DNS records** του domain. Ίσως η ιστοσελίδα να λειτουργεί σε μια διεύθυνση IP που χρησιμοποιήθηκε πριν.
* Το ίδιο μπορεί να επιτευχθεί **ελέγχοντας ιστορικά πιστοποιητικά SSL** που θα μπορούσαν να δείχνουν στην πραγματική IP διεύθυνση.
* Ελέγξτε επίσης τα **DNS records άλλων υποτομέων που δείχνουν απευθείας σε IPs**, καθώς είναι πιθανό να υπάρχουν άλλα υποτομεία που δείχνουν στον ίδιο διακομιστή (ίσως για να προσφέρουν FTP, ταχυδρομείο ή οποιαδήποτε άλλη υπηρεσία).
* Αν βρείτε ένα **SSRF μέσα στην εφαρμογή του web** μπορείτε να το εκμεταλλευτείτε για να αποκτήσετε την IP διεύθυνση του διακομιστή.
* Αναζητήστε ένα μοναδικό string της ιστοσελίδας σε περιηγητές όπως το shodan (και ίσως στο google και παρόμοια;). Ίσως μπορείτε να βρείτε μια IP διεύθυνση με αυτό το περιεχόμενο.
* Με παρόμοιο τρόπο αντί να ψάχνετε για ένα μοναδικό string μπορείτε να αναζητήσετε το εικονίδιο favicon με το εργαλείο: [https://github.com/karma9874/CloudFlare-IP](https://github.com/karma9874/CloudFlare-IP) ή με το [https://github.com/pielco11/fav-up](https://github.com/pielco11/fav-up)
* Αυτό δεν θα λειτουργήσει πολύ συχνά επειδή ο διακομιστής πρέπει να στείλει την ίδια απάντηση όταν προσπελαύνεται με τη διεύθυνση IP, αλλά ποτέ δεν ξέρετε.
## Εργαλεία για την Αποκάλυψη του Cloudflare
* Αναζητήστε το domain στο [http://www.crimeflare.org:82/cfs.html](http://www.crimeflare.org:82/cfs.html) ή [https://crimeflare.herokuapp.com](https://crimeflare.herokuapp.com). Ή χρησιμοποιήστε το εργαλείο [CloudPeler](https://github.com/zidansec/CloudPeler) (το οποίο χρησιμοποιεί αυτήν την API)
* Αναζητήστε το domain στο [https://leaked.site/index.php?resolver/cloudflare.0/](https://leaked.site/index.php?resolver/cloudflare.0/)
* [**CloudFlair**](https://github.com/christophetd/CloudFlair) είναι ένα εργαλείο που θα αναζητήσει χρησιμοποιώντας πιστοποιητικά Censys που περιέχουν το όνομα του domain, στη συνέχεια θα αναζητήσει τις IPv4 μέσα σε αυτά τα πιστοποιητικά και τέλος θα προσπαθήσει να έχει πρόσβαση στην ιστοσελίδα σε αυτές τις IPs.
* [**CloakQuest3r**](https://github.com/spyboy-productions/CloakQuest3r): Το CloakQuest3r είναι ένα ισχυρό εργαλείο Python που έχει σχεδιαστεί με προσοχή για να αποκαλύψει την πραγματική IP διεύθυνση ιστοσελίδων που προστατεύονται από το Cloudflare και άλλες εναλλακτικές λύσεις, ένα ευρέως υιοθετημένο υπηρεσία ασφαλείας και βελτίωσης της απόδοσης του web. Η κύρια αποστολή του είναι να διακρίνει με ακρίβεια την πραγματική IP διεύθυνση των διακομιστών ιστοσελίδων που κρύβονται πίσω από την προστατευτική ασπίδα του Cloudflare.
* [Censys](https://search.censys.io/)
* [Shodan](https://shodan.io/)
* [Bypass-firewalls-by-DNS-history](https://github.com/vincentcox/bypass-firewalls-by-DNS-history)
* Αν έχετε ένα σύνολο πιθανών IPs όπου βρίσκεται η ιστοσελίδα μπορείτε να χρησιμοποιήσετε το [https://github.com/hakluke/hakoriginfinder](https://github.com/hakluke/hakoriginfinder)
2022-08-17 12:21:23 +00:00
```bash
2022-08-19 16:13:59 +00:00
# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one
2022-08-17 12:21:23 +00:00
# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
2024-02-10 22:40:18 +00:00
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
2022-08-17 12:21:23 +00:00
done
```
## Αποκάλυψη του Cloudflare από την υποδομή Cloud
2022-08-17 12:21:23 +00:00
Σημείωση ότι ακόμα κι αν αυτό έγινε για μηχανήματα AWS, θα μπορούσε να γίνει για οποιονδήποτε άλλο πάροχο cloud.
2022-04-28 16:01:33 +00:00
2024-02-10 22:40:18 +00:00
Για μια καλύτερη περιγραφή αυτής της διαδικασίας, ελέγξτε:
2023-02-16 14:44:06 +00:00
{% embed url="https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks" %}
2023-01-11 16:53:45 +00:00
```bash
# Find open ports
2023-01-12 12:11:28 +00:00
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open" > all_open.txt
2023-01-11 16:53:45 +00:00
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
2023-01-11 16:57:23 +00:00
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json
# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json
2023-01-11 16:53:45 +00:00
```
2024-02-10 22:40:18 +00:00
## Παράκαμψη του Cloudflare μέσω του Cloudflare
2022-04-28 16:01:33 +00:00
### Εξουσιοδοτημένες Αρχικές Επιλογές
Αυτός ο μηχανισμός βασίζεται σε **πιστοποιητικά SSL του πελάτη** για την **επαλήθευση συνδέσεων** μεταξύ των **αντίστροφων διακομιστών του Cloudflare** και του **αρχικού** διακομιστή, που ονομάζεται **mTLS**.
Αντί να διαμορφώσει το δικό του πιστοποιητικό, οι πελάτες μπορούν απλά να χρησιμοποιήσουν το πιστοποιητικό του Cloudflare για να επιτρέψουν οποιαδήποτε σύνδεση από το Cloudflare, **ανεξάρτητα από τον ενοικιαστή**.
{% hint style="danger" %}
Συνεπώς, ένας επιτιθέμενος θα μπορούσε απλά να ορίσει ένα **domain στο Cloudflare χρησιμοποιώντας το πιστοποιητικό του Cloudflare και να τον κατευθύνει** προς τη διεύθυνση **IP** του **θύματος**. Με αυτόν τον τρόπο, ορίζοντας τον δικό του τομέα εντελώς ανεπτυγμένο, το Cloudflare δεν θα προστατεύσει τις αιτήσεις που στέλνονται.
{% endhint %}
2024-02-10 22:40:18 +00:00
Περισσότερες πληροφορίες [**εδώ**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
### Επιτρεπόμενες Διευθύνσεις IP του Cloudflare
Αυτό θα **απορρίψει συνδέσεις που δεν προέρχονται από τις** διευθύνσεις IP του **Cloudflare**. Αυτό είναι επίσης ευάλωτο στην προηγούμενη ρύθμιση όπου ένας επιτιθέμενος απλά **κατευθύνει τον δικό του τομέα στο Cloudflare** προς τη **διεύθυνση IP του θύματος** και το επιτίθεται.
2024-02-10 22:40:18 +00:00
Περισσότερες πληροφορίες [**εδώ**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
## Παράκαμψη του Cloudflare για scraping
### Προσωρινή Αποθήκευση
Μερικές φορές θέλετε απλά να παρακάμψετε το Cloudflare για να κάνετε scraping τη σελίδα. Υπάρχουν μερικές επιλογές γι' αυτό:
* Χρησιμοποιήστε την αποθήκευση της Google: `https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog`
* Χρησιμοποιήστε άλλες υπηρεσίες αποθήκευσης όπως η [https://archive.org/web/](https://archive.org/web/)
### Εργαλεία
Κάποια εργαλεία όπως τα παρακάτω μπορούν να παρακάμψουν (ή μπορούσαν να παρακάμψουν) την προστασία του Cloudflare ενάντια στο scraping:
* [https://github.com/sarperavci/CloudflareBypassForScraping](https://github.com/sarperavci/CloudflareBypassForScraping)
### Επιλυτές του Cloudflare
Έχουν αναπτυχθεί αρκετοί επιλυτές του Cloudflare:
* [FlareSolverr](https://github.com/FlareSolverr/FlareSolverr)
2024-02-10 22:40:18 +00:00
* [cloudscraper](https://github.com/VeNoMouS/cloudscraper) [Οδηγός εδώ](https://scrapeops.io/python-web-scraping-playbook/python-cloudscraper/)
* [cloudflare-scrape](https://github.com/Anorov/cloudflare-scrape)
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
* [Cloudflare-IUAM-Solver](https://github.com/ninja-beans/cloudflare-iuam-solver)
2024-02-10 22:40:18 +00:00
* [cloudflare-bypass](https://github.com/devgianlu/cloudflare-bypass) \[Αρχειοθετημένο]
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
2024-02-10 22:40:18 +00:00
### Ενισχυμένοι Ανενεργοί Περιηγητές <a href="#option-4-scrape-with-fortified-headless-browsers" id="option-4-scrape-with-fortified-headless-browsers"></a>
Χρησιμοποιήστε έναν ανενεργό περιηγητή που δεν ανιχνεύεται ως αυτοματοποιημένος περιηγητής (μπορεί να χρειαστεί να τον προσαρμόσετε γι' αυτό). Μερικές επιλογές είναι:
* **Puppeteer:** Το [πρόσθετο stealth](https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth) για το [puppeteer](https://github.com/puppeteer/puppeteer).
* **Playwright:** Το [πρόσθετο stealth](https://www.npmjs.com/package/playwright-stealth) έρχεται σύντομα στο Playwright. Ακολουθήστε τις εξελίξεις [εδώ](https://github.com/berstend/puppeteer-extra/issues/454) και [εδώ](https://github.com/berstend/puppeteer-extra/tree/master/packages/playwright-extra).
* **Selenium:** Το [undetected-chromedriver](https://github.com/ultrafunkamsterdam/undetected-chromedriver) μια βελτιστοποιημένη επιδιόρθωση του Selenium Chromedriver.
### Έξυπνος Διακομιστής Με Ενσωματωμένη Παράκαμψη του Cloudflare <a href="#option-5-smart-proxy-with-cloudflare-built-in-bypass" id="option-5-smart-proxy-with-cloudflare-built-in-bypass"></a>
Οι **έξυπνοι διακομιστές** ενημερώνονται συνεχώς από εξειδικευμένες εταιρείες, με στόχο να υπερβούν τα μέτρα ασφαλείας του Cloudflare (καθώς αυτό είναι το επάγγελμά τους).
Μερικοί από αυτούς είναι:
* [ScraperAPI](https://www.scraperapi.com/?fp_ref=scrapeops)
* [Scrapingbee](https://www.scrapingbee.com/?fpr=scrapeops)
* [Oxylabs](https://oxylabs.go2cloud.org/aff_c?offer_id=7\&aff_id=379\&url_id=32)
* [Smartproxy](https://prf.hn/click/camref:1100loxdG/\[p\_id:1100l442001]/destination:https%3A%2F%2Fsmartproxy.com%2Fscraping%2Fweb) είναι γνωστοί για τους προστατευτικούς μηχανισμούς παράκαμψης του Cloudflare που διαθέτουν.
Για όσους αναζητούν μια βελτιστοποιημένη λύση, το [ScrapeOps Proxy Aggregator](https://scrapeops.io/proxy-aggregator/) ξεχωρίζει. Αυτή η υπηρεσία ενσωματώνει πάνω από 20 παρόχους διακομιστών σε ένα μόνο API, επιλέγοντας αυτόματα τον καλύτερο και πιο οικονομικό διακομιστή για τους στόχους σας, προσφέροντας έτσι μια υπεροχή επιλογή για την πλοήγηση στις αμυντικές διατάξεις του Cloudflare.
### Αντιστροφή της Προστασίας Αντι-Bot του Cloudflare <a href="#option-6-reverse-engineer-cloudflare-anti-bot-protection" id="option-6-reverse-engineer-cloudflare-anti-bot-protection"></a>
Η αντιστροφή των μέτρων αντι-bot του Cloudflare είναι μια τακτική που χρησιμοποιείται από εξειδικευμένους παρόχους έξυπνων διακομιστών, κατάλληλη για εκτεταμένο web scraping χωρίς το υψηλό κόστος της λειτουργίας πολλών ανενεργών περιηγητών.
2024-02-09 07:15:24 +00:00
**Πλεονεκτήματα:** Αυτή η μέθοδος επιτρέπει τη δημιουργία μιας εξαιρετικά αποτελεσματικής παράκαμψης που στοχεύει ειδικά στους ελέγχους του Cloudflare, ιδανική για λειτουργίες μεγάλης κλίμακας.
2024-02-09 07:15:24 +00:00
**Μειονεκτήματα:** Το μειονέκτημα είναι η πολυπλοκότητα που συνεπάγεται η κατανόηση και η παραπλάνηση του σκοπίμως ασαφούς συστήματος αντι-bot του Cloudflare, απαιτώντας συνεχή προσπάθεια για να δοκιμάσετε διαφορετικές στρατηγικές και να ενημερώνετε την παράκαμψη καθώς το Cloudflare βελτιώνει τις προστασίες του.
2024-02-09 07:15:24 +00:00
Βρείτε περισσότερες πληροφορίες σχετικά με το πώς να το κάνετε αυτό στο [πρωτότυπο άρθρο](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/).
## Αναφορές
* [https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/)
<details>
<summary><strong>Μάθετε το χάκινγκ του AWS από το μηδέν μέχρι τον ήρωα με το</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
Άλλοι τρόποι υποστήριξης του HackTricks:
* Αν θέλετε να δείτε την **εταιρεία σας διαφημισμένη στο HackTricks** ή να **κατεβάσετε το HackTricks σε PDF** ελέγξτε τα [**ΣΧΕΔΙΑ ΣΥΝΔΡΟΜΗΣ**](https://github.com/sponsors/carlospolop)!
* Αποκτήστε το [**επίσημο PEASS & HackTricks swag**](https://peass.creator-spring.com)
* Ανακαλύψτε [**την