hacktricks/network-services-pentesting/pentesting-web/uncovering-cloudflare.md

165 lines
12 KiB
Markdown
Raw Normal View History

# Ontdek CloudFlare
2022-04-28 16:01:33 +00:00
<details>
2024-02-11 02:07:06 +00:00
<summary><strong>Leer AWS-hacking vanaf nul tot held met</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
2022-04-28 16:01:33 +00:00
Ander maniere om HackTricks te ondersteun:
2023-12-31 01:24:39 +00:00
* As jy wil sien dat jou **maatskappy geadverteer word in HackTricks** of **HackTricks aflaai in PDF-formaat** Kyk na die [**INSKRYWINGSPLANNE**](https://github.com/sponsors/carlospolop)!
* Kry die [**amptelike PEASS & HackTricks swag**](https://peass.creator-spring.com)
* Ontdek [**Die PEASS Familie**](https://opensea.io/collection/the-peass-family), ons versameling eksklusiewe [**NFTs**](https://opensea.io/collection/the-peass-family)
* **Sluit aan by die** 💬 [**Discord-groep**](https://discord.gg/hRep4RUj7f) of die [**telegram-groep**](https://t.me/peass) of **volg** ons op **Twitter** 🐦 [**@carlospolopm**](https://twitter.com/hacktricks\_live)**.**
* **Deel jou haktruuks deur PR's in te dien by die** [**HackTricks**](https://github.com/carlospolop/hacktricks) en [**HackTricks Cloud**](https://github.com/carlospolop/hacktricks-cloud) github-opslag.
2022-04-28 16:01:33 +00:00
</details>
## Algemene Tegnieke om Cloudflare te Ontbloot
2020-12-08 12:25:09 +00:00
* Jy kan 'n diens gebruik wat jou die **historiese DNS-rekords** van die domein gee. Dalk hardloop die webblad op 'n IP-adres wat voorheen gebruik is.
* Dieselfde kan bereik word deur **historiese SSL-sertifikate te ondersoek** wat na die oorsprong IP-adres kan verwys.
* Kontroleer ook **DNS-rekords van ander subdomeine wat direk na IP-adresse verwys**, aangesien dit moontlik is dat ander subdomeine na dieselfde bediener verwys (miskien om FTP, pos of enige ander diens aan te bied).
* As jy 'n **SSRF binne die webtoepassing vind**, kan jy dit misbruik om die IP-adres van die bediener te verkry.
* Soek 'n unieke string van die webblad in soekmasjiene soos shodan (en miskien google en soortgelyke?). Dalk kan jy 'n IP-adres met daardie inhoud vind.
* Op 'n soortgelyke manier, in plaas van om te soek na 'n unieke string, kan jy soek na die favicon-ikoon met die gereedskap: [https://github.com/karma9874/CloudFlare-IP](https://github.com/karma9874/CloudFlare-IP) of met [https://github.com/pielco11/fav-up](https://github.com/pielco11/fav-up)
* Dit sal nie baie gereeld werk nie omdat die bediener dieselfde antwoord moet stuur wanneer dit deur die IP-adres benader word, maar jy weet nooit.
## Gereedskap om Cloudflare te Ontbloot
* Soek na die domein binne [http://www.crimeflare.org:82/cfs.html](http://www.crimeflare.org:82/cfs.html) of [https://crimeflare.herokuapp.com](https://crimeflare.herokuapp.com). Of gebruik die gereedskap [CloudPeler](https://github.com/zidansec/CloudPeler) (wat daardie API gebruik)
* Soek na die domein in [https://leaked.site/index.php?resolver/cloudflare.0/](https://leaked.site/index.php?resolver/cloudflare.0/)
* [**CloudFlair**](https://github.com/christophetd/CloudFlair) is 'n gereedskap wat sal soek met behulp van Censys-sertifikate wat die domeinnaam bevat, dan sal dit soek na IPv4's binne daardie sertifikate en uiteindelik sal dit probeer om die webblad in daardie IP-adresse te benader.
* [**CloakQuest3r**](https://github.com/spyboy-productions/CloakQuest3r): CloakQuest3r is 'n kragtige Python-gereedskap wat noukeurig ontwerp is om die ware IP-adres van webwerwe wat deur Cloudflare en ander alternatiewe beskerm word, bloot te lê, 'n wyd aangewende websekuriteits- en prestasieverbeteringsdiens. Sy kernmissie is om akkuraat die werklike IP-adres van webbedieners wat agter Cloudflare se beskermende skild weggesteek is, te onderskei.
* [Censys](https://search.censys.io/)
* [Shodan](https://shodan.io/)
* [Bypass-firewalls-by-DNS-history](https://github.com/vincentcox/bypass-firewalls-by-DNS-history)
* As jy 'n stel potensiële IP-adresse het waar die webblad geleë is, kan jy [https://github.com/hakluke/hakoriginfinder](https://github.com/hakluke/hakoriginfinder) gebruik.
2022-08-17 12:21:23 +00:00
```bash
2022-08-19 16:13:59 +00:00
# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one
2022-08-17 12:21:23 +00:00
# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
2024-02-11 02:07:06 +00:00
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
2022-08-17 12:21:23 +00:00
done
```
## Blootstelling van Cloudflare vanaf die wolk-infrastruktuur
2022-08-17 12:21:23 +00:00
Let wel dat selfs al is dit gedoen vir AWS-masjiene, dit kan gedoen word vir enige ander wolkverskaffer.
2022-04-28 16:01:33 +00:00
2024-02-11 02:07:06 +00:00
Vir 'n beter beskrywing van hierdie proses, kyk:
2023-02-16 14:44:06 +00:00
{% embed url="https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks" %}
2023-01-11 16:53:45 +00:00
```bash
# Find open ports
2023-01-12 12:11:28 +00:00
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open" > all_open.txt
2023-01-11 16:53:45 +00:00
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
2023-01-11 16:57:23 +00:00
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json
# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json
2023-01-11 16:53:45 +00:00
```
## Oor Cloudflare heen kom deur Cloudflare
2022-04-28 16:01:33 +00:00
2024-02-11 02:07:06 +00:00
### Geauthentiseerde Oorsprong Trek
Hierdie meganisme steun op **kliënt** [**SSL-sertifikate**](https://socradar.io/how-to-monitor-your-ssl-certificates-expiration-easily-and-why/) **om verbindinge te verifieer** tussen **Cloudflare se omgekeerde-proksi**-bedieners en die **oorsprong**-bediener, wat **mTLS** genoem word.
In plaas van om sy eie sertifikaat te konfigureer, kan kliënte eenvoudig Cloudflare se sertifikaat gebruik om enige verbinding vanaf Cloudflare toe te laat, **onafhanklik van die huurder**.
{% hint style="danger" %}
Daarom kan 'n aanvaller net 'n **domein in Cloudflare met Cloudflare se sertifikaat instel en** dit na die **slagoffer**-domein **IP**-adres rig. Op hierdie manier, deur sy domein heeltemal onbeskerm te stel, sal Cloudflare nie die gestuurde versoek beskerm nie.
{% endhint %}
2024-02-11 02:07:06 +00:00
Meer inligting [**hier**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
### Sta Cloudflare IP-adresse toe
Dit sal **verbindings wat nie van Cloudflare se** IP-adresreeks **afkomstig is nie, verwerp**. Dit is ook vatbaar vir die vorige opstelling waar 'n aanvaller net sy eie domein in Cloudflare **na die slagoffer se IP**-adres rig en dit aanval.
2024-02-11 02:07:06 +00:00
Meer inligting [**hier**](https://socradar.io/cloudflare-protection-bypass-vulnerability-on-threat-actors-radar/).
## Bypass Cloudflare vir skrapskraap
### Cache
Soms wil jy net Cloudflare omseil om net die webblad te skraap. Daar is 'n paar opsies vir hierdie:
2024-02-11 02:07:06 +00:00
* Gebruik Google-cache: `https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog`
* Gebruik ander cache-diens soos [https://archive.org/web/](https://archive.org/web/)
### Gereedskap
Sommige gereedskap soos die volgende kan Cloudflare se beskerming teen skrapskraap omseil (of kon dit omseil):
* [https://github.com/sarperavci/CloudflareBypassForScraping](https://github.com/sarperavci/CloudflareBypassForScraping)
2024-02-11 02:07:06 +00:00
### Cloudflare Oplossers
2024-02-11 02:07:06 +00:00
Daar is 'n aantal Cloudflare-oplossers ontwikkel:
* [FlareSolverr](https://github.com/FlareSolverr/FlareSolverr)
2024-02-11 02:07:06 +00:00
* [cloudscraper](https://github.com/VeNoMouS/cloudscraper) [Gids hier](https://scrapeops.io/python-web-scraping-playbook/python-cloudscraper/)
* [cloudflare-scrape](https://github.com/Anorov/cloudflare-scrape)
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
* [Cloudflare-IUAM-Solver](https://github.com/ninja-beans/cloudflare-iuam-solver)
2024-02-11 02:07:06 +00:00
* [cloudflare-bypass](https://github.com/devgianlu/cloudflare-bypass) \[Gearchiveer]
* [CloudflareSolverRe](https://github.com/RyuzakiH/CloudflareSolverRe)
### Versterkte Koplose Blaaiers <a href="#option-4-scrape-with-fortified-headless-browsers" id="option-4-scrape-with-fortified-headless-browsers"></a>
Gebruik 'n koplose blaaier wat nie as 'n geoutomatiseerde blaaier geïdentifiseer word nie (jy moet dit moontlik aanpas vir daardie doel). Sommige opsies is:
* **Puppeteer:** Die [stealth-inprop](https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth) vir [puppeteer](https://github.com/puppeteer/puppeteer).
* **Playwright:** Die [stealth-inprop](https://www.npmjs.com/package/playwright-stealth) kom binnekort na Playwright. Volg ontwikkelings [hier](https://github.com/berstend/puppeteer-extra/issues/454) en [hier](https://github.com/berstend/puppeteer-extra/tree/master/packages/playwright-extra).
* **Selenium:** Die [undetected-chromedriver](https://github.com/ultrafunkamsterdam/undetected-chromedriver) 'n geoptimaliseerde Selenium Chromedriver-patch.
### Slim Proksi Met Cloudflare Ingeboude Omseiling <a href="#option-5-smart-proxy-with-cloudflare-built-in-bypass" id="option-5-smart-proxy-with-cloudflare-built-in-bypass"></a>
**Slim proksi**-proksi word deur gespesialiseerde maatskappye voortdurend opgedateer, met die doel om Cloudflare se sekuriteitsmaatreëls te oortref (aangesien dit hul besigheid is).
2024-02-11 02:07:06 +00:00
Sommige van hulle is:
* [ScraperAPI](https://www.scraperapi.com/?fp\_ref=scrapeops)
2024-02-09 07:15:24 +00:00
* [Scrapingbee](https://www.scrapingbee.com/?fpr=scrapeops)
* [Oxylabs](https://oxylabs.go2cloud.org/aff\_c?offer\_id=7\&aff\_id=379\&url\_id=32)
* [Smartproxy](https://prf.hn/click/camref:1100loxdG/\[p\_id:1100l442001]/destination:https%3A%2F%2Fsmartproxy.com%2Fscraping%2Fweb) word genoem vir hul eie Cloudflare-omseilingsmeganismes.
Vir diegene wat 'n geoptimaliseerde oplossing soek, steek die [ScrapeOps Proksi Aggregator](https://scrapeops.io/proxy-aggregator/) uit. Hierdie diens integreer meer as 20 proksi-leweraars in 'n enkele API, wat outomaties die beste en mees koste-doeltreffende proksi vir jou teikendomeine kies, en dus 'n uitstekende opsie bied vir die navigering deur Cloudflare se verdedigings.
### Ontleding van Cloudflare Anti-Bot Beskerming <a href="#option-6-reverse-engineer-cloudflare-anti-bot-protection" id="option-6-reverse-engineer-cloudflare-anti-bot-protection"></a>
Die ontleding van Cloudflare se anti-bot-maatreeëls is 'n taktiek wat deur slim proksi-leweraars gebruik word, geskik vir omvattende webkrap sonder die hoë koste van die bedryf van baie koplose blaaier.
2024-02-09 07:15:24 +00:00
**Voordele:** Hierdie metode maak die skepping van 'n uiters doeltreffende omseiling moontlik wat spesifiek Cloudflare se kontroles teiken, ideaal vir grootskaalse operasies.
2024-02-09 07:15:24 +00:00
**Nadele:** Die nadeel is die kompleksiteit wat betrokke is by die verstaan en mislei van Cloudflare se doelbewus onduidelike anti-bot-stelsel, wat voortdurende pogings vereis om verskillende strategieë te toets en die omseiling op te dateer soos Cloudflare sy beskerming verbeter.
2024-02-09 07:15:24 +00:00
2024-02-11 02:07:06 +00:00
Vind meer inligting oor hoe om dit te doen in die [oorspronklike artikel](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/).
2024-02-11 02:07:06 +00:00
## Verwysings
* [https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/](https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/)
2023-01-11 16:53:45 +00:00
<details>
2022-04-28 16:01:33 +00:00
2024-02-11 02:07:06 +00:00
<summary><strong>Leer AWS-hacking van nul tot held met</strong> <a href="https://training.hacktricks.xyz/courses/arte"><strong>htARTE (HackTricks AWS Red Team Expert)</strong></a><strong>!</strong></summary>
2022-04-28 16:01:33 +00:00
2024-02-11 02:07:06 +00:00
Ander maniere om HackTricks te ondersteun:
2023-12-31 01:24:39 +00:00
* As jy wil sien dat jou **maatskappy geadverteer word in HackTricks** of **HackTricks in PDF aflaai**, kyk na die [**INSKRYWINGSPLANNE**](https://github.com/sponsors/carlospolop)!
* Kry die [**amptelike PEASS & HackTricks swag**](https://peass.creator-spring.com)
* Ontdek [**Die PEASS Familie**](https://opensea.io/collection/the-peass-family), ons versameling eksklusiewe [**NFTs**](https://opensea.io/collection/the-peass-family)
* **Sluit aan by die** 💬 [**Discord-groep**](https://discord.gg/hRep4RUj7f) of die [**telegram-groep**](https://t.me/peass) of **volg** ons op **Twitter** 🐦 [**@carlospolopm**](https://twitter.com/hacktricks\_live)**.**
2024-02-11 02:07:06 +00:00
* **Deel jou haktruuks deur PR's in te dien by die** [**HackTricks**](https://github.com/carlospolop/hacktricks) en [**HackTricks Cloud**](https://github.com/carlospolop/hacktricks-cloud) github-opslag.
2022-04-28 16:01:33 +00:00
</details>