org.jsoup.Connection.Response usage = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.method(Connection.Method.GET)
.timeout(30000)
.execute();
System.out.println(usage.parse());
< /code>
Dieser Code funktioniert für andere Websites. Mit dieser Site ist das Ergebnis jedoch CloudFlare DDOS -Schutz < /strong>
Ich habe alle Header hinzugefügt, aber Chrome kann auf diese URL ohne Probleme zugreifen. < /p>
Übrigens, wenn ich nicht eingestellt habe, < /p>
ignoreHttpErrors(true)
< /code>
Um wahr zu machen, wird eine Ausnahme 503 ausgelöst. Egal was ich tue, es wird nicht verschwinden, wenn ich dies in wahrer Änderung ändere. Also stecke ich auf der DDOS -Schutzseite fest, die besagt, dass sie in 5 Sekunden auf die Website umgeleitet wird.org.jsoup.Connection.Response usage = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.method(Connection.Method.GET)
.timeout(30000)
.execute();
Thread.sleep(5000);
org.jsoup.Connection.Response usg = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.cookies(usage.cookies())
.method(Connection.Method.GET)
.timeout(30000)
.execute();
< /code>
Dies hat auch nicht funktioniert. Mein Browser greift ohne Probleme auf diese URL auf. Ich denke, es hängt mit JSOUP zusammen?TrustManager[] trustAllCerts = new TrustManager[] { new X509TrustManager() {
public java.security.cert.X509Certificate[] getAcceptedIssuers() {
return null;
}
public void checkClientTrusted(java.security.cert.X509Certificate[] certs, String authType) {
}
public void checkServerTrusted(java.security.cert.X509Certificate[] certs, String authType) {
}
} };
// Install the all-trusting trust manager
try {
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCerts, new java.security.SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
} catch (Exception e) {
throw new RuntimeException(e);
}
Dieser Code funktioniert für andere Websites. Mit dieser Site ist das Ergebnis jedoch CloudFlare DDOS -Schutz < /strong> Ich habe alle Header hinzugefügt, aber Chrome kann auf diese URL ohne Probleme zugreifen. < /p>
Übrigens, wenn ich nicht eingestellt habe, < /p>
ignoreHttpErrors(true) < /code>
Um wahr zu machen, wird eine Ausnahme 503 ausgelöst. Egal was ich tue, es wird nicht verschwinden, wenn ich dies in wahrer Änderung ändere. Also stecke ich auf der DDOS -Schutzseite fest, die besagt, dass sie in 5 Sekunden auf die Website umgeleitet wird.org.jsoup.Connection.Response usage = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A") .header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8") .header("accept-encoding", "gzip, deflate, sdch, br") .header("accept-language", "en-US,en;q=0.8") .header("cache-control", "max-age=0") .header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36") .header("upgrade-insecure-requests", "1") .ignoreHttpErrors(true) .followRedirects(true) .method(Connection.Method.GET) .timeout(30000) .execute();
Dies hat auch nicht funktioniert. Mein Browser greift ohne Probleme auf diese URL auf. Ich denke, es hängt mit JSOUP zusammen?TrustManager[] trustAllCerts = new TrustManager[] { new X509TrustManager() { public java.security.cert.X509Certificate[] getAcceptedIssuers() { return null; }
public void checkClientTrusted(java.security.cert.X509Certificate[] certs, String authType) { }
public void checkServerTrusted(java.security.cert.X509Certificate[] certs, String authType) { } } };
// Install the all-trusting trust manager try { SSLContext sc = SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new java.security.SecureRandom()); HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory()); } catch (Exception e) { throw new RuntimeException(e); } [/code]
Ich habe gelegentlich E-Commerce-Webseite gesetzt, um Produktpreiseinformationen zu erhalten. Ich habe den Schaber in einer Weile nicht mit Scrapy gebaut und gestern hat versucht, ihn zu verwenden -...
Ich habe einen Server erstellt, der eine Warteschlange auf der serverseitigen Implementierung implementiert, wobei die Anforderungen absichtlich 11 Sekunden lang abgehalten werden, bevor eine Antwort...
Ich arbeite seit ein paar Wochen an einem Projekt auf meinem Laptop und gelegentlich (scheinbar zufällig) werde ich Einheit starten und der Herausgeber wird sich diesem seltsamen Muster konsequenter...
Mit JSOUP versuche ich, den angegebenen HTML -Inhalt zu analysieren. Nach jSOUP.PARSE () findet die HTML -Ausgabe HTML , head und body zum Eingang an. Ich möchte diese nur ignorieren.
This is my...
Mit JSOUP versuche ich, den angegebenen HTML -Inhalt zu analysieren. Nach jSOUP.PARSE () findet die HTML -Ausgabe HTML , head und body zum Eingang an. Ich möchte diese nur ignorieren.
This is my...