hacktricks/network-services-pentesting/pentesting-web/uncovering-cloudflare.md

160 lines
12 KiB
Markdown
Raw Normal View History

2024-02-10 15:36:32 +00:00
# Aufdecken von CloudFlare
2022-04-28 16:01:33 +00:00
<details>
2024-02-10 15:36:32 +00:00
<summary><strong>Lernen Sie AWS-Hacking von Grund auf mit</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
2022-04-28 16:01:33 +00:00
2024-02-10 15:36:32 +00:00
Andere Möglichkeiten, HackTricks zu unterstützen:
2023-12-31 01:24:39 +00:00
2024-02-10 15:36:32 +00:00
* Wenn Sie Ihr **Unternehmen in HackTricks bewerben möchten** oder **HackTricks als PDF herunterladen möchten**, überprüfen Sie die [**ABONNEMENTPLÄNE**](https://github.com/sponsors/carlospolop)!
* Holen Sie sich das [**offizielle PEASS & HackTricks-Merchandise**](https://peass.creator-spring.com)
* Entdecken Sie [**The PEASS Family**](https://opensea.io/collection/the-peass-family), unsere Sammlung exklusiver [**NFTs**](https://opensea.io/collection/the-peass-family)
* **Treten Sie der** 💬 [**Discord-Gruppe**](https://discord.gg/hRep4RUj7f) oder der [**Telegram-Gruppe**](https://t.me/peass) bei oder **folgen** Sie uns auf **Twitter** 🐦 [**@carlospolopm**](https://twitter.com/hacktricks_live)**.**
* **Teilen Sie Ihre Hacking-Tricks, indem Sie PRs an die** [**HackTricks**](https://github.com/carlospolop/hacktricks) und [**HackTricks Cloud**](https://github.com/carlospolop/hacktricks-cloud) GitHub-Repositories senden.
2022-04-28 16:01:33 +00:00
</details>
2020-12-08 12:25:09 +00:00
2024-02-10 15:36:32 +00:00
## Gemeinsame Techniken zur Aufdeckung von Cloudflare
2024-02-10 15:36:32 +00:00
* Sie können einen Dienst verwenden, der Ihnen die **historischen DNS-Einträge** der Domain gibt. Möglicherweise läuft die Webseite auf einer zuvor verwendeten IP-Adresse.
* Das Gleiche könnte erreicht werden, indem Sie **historische SSL-Zertifikate überprüfen**, die auf die Ursprungs-IP-Adresse verweisen könnten.
* Überprüfen Sie auch **DNS-Einträge anderer Subdomains, die direkt auf IPs verweisen**, da es möglich ist, dass andere Subdomains auf denselben Server verweisen (vielleicht um FTP, E-Mail oder einen anderen Dienst anzubieten).
* Wenn Sie eine **SSRF in der Webanwendung** finden, können Sie sie missbrauchen, um die IP-Adresse des Servers zu erhalten.
* Suchen Sie nach einer eindeutigen Zeichenfolge der Webseite in Browsern wie Shodan (und vielleicht Google und ähnlichen?). Möglicherweise finden Sie eine IP-Adresse mit diesem Inhalt.
* Auf ähnliche Weise könnten Sie anstelle einer eindeutigen Zeichenfolge nach dem Favicon-Symbol mit dem Tool suchen: [https://github.com/karma9874/CloudFlare-IP](https://github.com/karma9874/CloudFlare-IP) oder mit [https://github.com/pielco11/fav-up](https://github.com/pielco11/fav-up)
* Dies funktioniert nicht sehr häufig, da der Server dieselbe Antwort senden muss, wenn er über die IP-Adresse aufgerufen wird, aber man weiß nie.
2024-02-10 15:36:32 +00:00
## Tools zur Aufdeckung von Cloudflare
2024-02-10 15:36:32 +00:00
* Suchen Sie nach der Domain in [http://www.crimeflare.org:82/cfs.html](http://www.crimeflare.org:82/cfs.html) oder [https://crimeflare.herokuapp.com](https://crimeflare.herokuapp.com). Oder verwenden Sie das Tool [CloudPeler](https://github.com/zidansec/CloudPeler) (das diese API verwendet)
* Suchen Sie nach der Domain in [https://leaked.site/index.php?resolver/cloudflare.0/](https://leaked.site/index.php?resolver/cloudflare.0/)
* [**CloudFlair**](https://github.com/christophetd/CloudFlair) ist ein Tool, das mit Censys-Zertifikaten sucht, die den Domainnamen enthalten. Anschließend sucht es nach IPv4-Adressen in diesen Zertifikaten und versucht schließlich, die Webseite unter diesen IPs aufzurufen.
* [Censys](https://search.censys.io/)
* [Shodan](https://shodan.io/)
* [Bypass-firewalls-by-DNS-history](https://github.com/vincentcox/bypass-firewalls-by-DNS-history)
2024-02-10 15:36:32 +00:00
* Wenn Sie eine Reihe potenzieller IPs haben, auf denen sich die Webseite befindet, können Sie [https://github.com/hakluke/hakoriginfinder](https://github.com/hakluke/hakoriginfinder) verwenden
2022-08-17 12:21:23 +00:00
```bash
2022-08-19 16:13:59 +00:00
# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one
2022-08-17 12:21:23 +00:00
# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
2024-02-10 15:36:32 +00:00
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
2022-08-17 12:21:23 +00:00
done
```
2024-02-10 15:36:32 +00:00
## Aufdecken von Cloudflare von Cloud-Maschinen
2022-08-17 12:21:23 +00:00
2024-02-10 15:36:32 +00:00
Beachten Sie, dass dies auch für AWS-Maschinen durchgeführt werden kann, aber auch für andere Cloud-Anbieter.
2022-04-28 16:01:33 +00:00
2024-02-10 15:36:32 +00:00
Für eine bessere Beschreibung dieses Prozesses siehe:
2023-02-16 14:44:06 +00:00
{% embed url="https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks" %}
2023-01-11 16:53:45 +00:00
```bash
# Find open ports
2023-01-12 12:11:28 +00:00
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open" > all_open.txt
2023-01-11 16:53:45 +00:00
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
2023-01-11 16:57:23 +00:00
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json
# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json
2023-01-11 16:53:45 +00:00
```
2024-02-10 15:36:32 +00:00
## Umgehung von Cloudflare über Cloudflare
2022-04-28 16:01:33 +00:00
2024-02-10 15:36:32 +00:00
### Authentifizierte Origin Pulls
2024-02-10 15:36:32 +00:00
Dieser Mechanismus basiert auf **Client**-[**SSL-Zertifikaten**](https://socradar.io/how-to-monitor-your-ssl-certificates-expiration-easily-and-why/), um Verbindungen zwischen den Reverse-Proxy-Servern von Cloudflare und dem Ursprungsserver, der als **mTLS** bezeichnet wird, zu authentifizieren.
2024-02-10 15:36:32 +00:00
Anstatt ein eigenes Zertifikat zu konfigurieren, können Kunden einfach das Zertifikat von Cloudflare verwenden, um eine Verbindung von Cloudflare zu ermöglichen, **unabhängig vom Mieter**.
{% hint style="danger" %}
2024-02-10 15:36:32 +00:00
Daher könnte ein Angreifer einfach eine **Domain in Cloudflare mit Cloudflares Zertifikat einrichten und** sie auf die IP-Adresse der **Opfer**-Domain zeigen lassen. Auf diese Weise, indem er seine Domain vollständig ungeschützt einrichtet, schützt Cloudflare die gesendeten Anfragen nicht.
{% endhint %}
2024-02-10 15:36:32 +00:00
Weitere Informationen finden Sie [**hier**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
2024-02-10 15:36:32 +00:00
### Zulassen von Cloudflare-IP-Adressen
2024-02-10 15:36:32 +00:00
Dadurch werden Verbindungen abgelehnt, die nicht von den IP-Adressbereichen von Cloudflare stammen. Dies ist auch anfällig für die vorherige Konfiguration, bei der ein Angreifer einfach seine eigene Domain in Cloudflare auf die IP-Adresse des Opfers zeigen lässt und es angreift.
2024-02-10 15:36:32 +00:00
Weitere Informationen finden Sie [**hier**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
2024-02-10 15:36:32 +00:00
## Umgehung von Cloudflare für das Scraping
### Cache
2024-02-10 15:36:32 +00:00
Manchmal möchten Sie Cloudflare umgehen, um nur die Webseite zu scrapen. Hierfür gibt es einige Optionen:
2024-02-10 15:36:32 +00:00
* Verwenden Sie den Google-Cache: `https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog`
* Verwenden Sie andere Cache-Dienste wie [https://archive.org/web/](https://archive.org/web/)
### Cloudflare Solvers
2024-02-10 15:36:32 +00:00
Es wurden verschiedene Cloudflare Solvers entwickelt:
* [FlareSolverr](https://github.com/FlareSolverr/FlareSolverr)
2024-02-10 15:36:32 +00:00
* [cloudscraper](https://github.com/VeNoMouS/cloudscraper) [Anleitung hier](https://scrapeops.io/python-web-scraping-playbook/python-cloudscraper/)
* [cloudflare-scrape](https://github.com/Anorov/cloudflare-scrape)
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
* [Cloudflare-IUAM-Solver](https://github.com/ninja-beans/cloudflare-iuam-solver)
2024-02-10 15:36:32 +00:00
* [cloudflare-bypass](https://github.com/devgianlu/cloudflare-bypass) \[Archiviert]
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
2024-02-10 15:36:32 +00:00
### Verstärkte Headless-Browser <a href="#option-4-scrape-with-fortified-headless-browsers" id="option-4-scrape-with-fortified-headless-browsers"></a>
2024-02-10 15:36:32 +00:00
Verwenden Sie einen Headless-Browser, der nicht als automatisierter Browser erkannt wird (möglicherweise müssen Sie ihn dafür anpassen). Einige Optionen sind:
2024-02-10 15:36:32 +00:00
* **Puppeteer:** Das [Stealth-Plugin](https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth) für [Puppeteer](https://github.com/puppeteer/puppeteer).
* **Playwright:** Das [Stealth-Plugin](https://www.npmjs.com/package/playwright-stealth) wird bald für Playwright verfügbar sein. Verfolgen Sie die Entwicklungen [hier](https://github.com/berstend/puppeteer-extra/issues/454) und [hier](https://github.com/berstend/puppeteer-extra/tree/master/packages/playwright-extra).
* **Selenium:** Der [undetected-chromedriver](https://github.com/ultrafunkamsterdam/undetected-chromedriver), ein optimierter Selenium Chromedriver-Patch.
2024-02-10 15:36:32 +00:00
### Intelligenter Proxy mit integrierter Cloudflare-Umgehung <a href="#option-5-smart-proxy-with-cloudflare-built-in-bypass" id="option-5-smart-proxy-with-cloudflare-built-in-bypass"></a>
2024-02-10 15:36:32 +00:00
**Intelligente Proxies** werden kontinuierlich von spezialisierten Unternehmen aktualisiert, um die Sicherheitsmaßnahmen von Cloudflare zu umgehen (da dies ihr Geschäft ist).
2024-02-10 15:36:32 +00:00
Einige von ihnen sind:
2024-02-09 07:15:24 +00:00
* [ScraperAPI](https://www.scraperapi.com/?fp_ref=scrapeops)
* [Scrapingbee](https://www.scrapingbee.com/?fpr=scrapeops)
* [Oxylabs](https://oxylabs.go2cloud.org/aff_c?offer_id=7&aff_id=379&url_id=32)
2024-02-10 15:36:32 +00:00
* [Smartproxy](https://prf.hn/click/camref:1100loxdG/[p_id:1100l442001]/destination:https%3A%2F%2Fsmartproxy.com%2Fscraping%2Fweb) sind bekannt für ihre proprietären Cloudflare-Umgehungsmethoden.
2024-02-10 15:36:32 +00:00
Für diejenigen, die eine optimierte Lösung suchen, sticht der [ScrapeOps Proxy Aggregator](https://scrapeops.io/proxy-aggregator/) heraus. Dieser Service integriert über 20 Proxy-Anbieter in eine einzige API und wählt automatisch den besten und kostengünstigsten Proxy für Ihre Ziel-Domains aus, was eine überlegene Option zum Navigieren durch Cloudflares Verteidigung bietet.
2024-02-10 15:36:32 +00:00
### Reverse Engineering des Cloudflare Anti-Bot-Schutzes <a href="#option-6-reverse-engineer-cloudflare-anti-bot-protection" id="option-6-reverse-engineer-cloudflare-anti-bot-protection"></a>
2024-02-10 15:36:32 +00:00
Das Reverse Engineering der Anti-Bot-Maßnahmen von Cloudflare ist eine Taktik, die von intelligenten Proxy-Anbietern verwendet wird und sich für umfangreiches Web-Scraping eignet, ohne die hohen Kosten für den Betrieb vieler Headless-Browser.
2024-02-09 07:15:24 +00:00
2024-02-10 15:36:32 +00:00
**Vorteile:** Diese Methode ermöglicht die Erstellung einer äußerst effizienten Umgehung, die speziell auf die Überprüfungen von Cloudflare abzielt und sich ideal für groß angelegte Operationen eignet.
2024-02-09 07:15:24 +00:00
2024-02-10 15:36:32 +00:00
**Nachteile:** Der Nachteil besteht in der Komplexität, die mit dem Verständnis und der Täuschung des bewusst undurchsichtigen Anti-Bot-Systems von Cloudflare verbunden ist. Es erfordert fortlaufende Anstrengungen, um verschiedene Strategien zu testen und die Umgehung zu aktualisieren, während Cloudflare seinen Schutz verbessert.
2024-02-09 07:15:24 +00:00
2024-02-10 15:36:32 +00:00
Weitere Informationen dazu finden Sie im [Originalartikel](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/).
2024-02-10 15:36:32 +00:00
## Referenzen
* [https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/)
2023-01-11 16:53:45 +00:00
<details>
2022-04-28 16:01:33 +00:00
2024-02-10 15:36:32 +00:00
<summary><strong>Lernen Sie das Hacken von AWS von Grund auf mit</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
2022-04-28 16:01:33 +00:00
2024-02-10 15:36:32 +00:00
Weitere Möglichkeiten, HackTricks zu unterstützen:
2023-12-31 01:24:39 +00:00
2024-02-10 15:36:32 +00:00
* Wenn Sie Ihr **Unternehmen in HackTricks bewerben möchten** oder **HackTricks als PDF herunterladen** möchten, überprüfen Sie die [**ABONNEMENTPLÄNE**](https://github.com/sponsors/carlospolop)!
* Holen Sie sich das [**offizielle PEASS & HackTricks-Merchandise**](https://peass.creator-spring.com)
* Entdecken Sie [**The PEASS Family**](https://opensea.io/collection/the-peass-family), unsere Sammlung exklusiver [**NFTs**](https://opensea.io/collection/the-peass-family)
* **Treten Sie der** 💬 [**Discord-Gruppe**](https://discord.gg/hRep4RUj7f) oder der [**Telegramm-Gruppe**](https://t.me/peass) bei oder folgen Sie uns auf **Twitter** 🐦 [**@carlospolopm**](https://twitter.com/hacktricks_live)**.**
* **Teilen Sie Ihre Hacking-Tricks, indem Sie PRs an die** [**HackTricks**](https://github.com/carlospolop/hacktricks) und [**HackTricks Cloud**](https://github.com/carlospolop/hacktricks-cloud) GitHub-Repositories senden.
2022-04-28 16:01:33 +00:00
</details>