Ich möchte 50 Gruppen (Site -Abschnitte) mit jeweils 100.000 Seiten -IDs durchlaufen, aber Selen wird mit jeder Iteration langsamer. Was könnte das Problem sein? < /P>
chrome_driver_way = './chromedriver/chromedriver.exe'
options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--headless')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--disable-gpu')
options.add_argument("--disable-extensions")
options.add_argument("--disable-infobars")
options.add_argument("--log-level=2")
options.add_argument('--ignore-ssl-errors')
options.add_argument('--ignore-certificate-errors')
for group in groups:
texts = [None] * len(ids)
with webdriver.Chrome(
executable_path=chrome_driver_way,
options=options
) as browser:
start = time.time()
for n, id in enumerate(ids):
browser.get(url.format(id))
text = browser.find_elements(
By.XPATH, '//div/div/div'
)
texts[n] = text[0].text
if n != 0 and n % 100 == 0:
print('group {}: IDs {}-{} processed in {} s'.format(group, n - 100, n, time.time() - start))
start = time.time()
del text
< /code>
Protokolle: < /p>
group 1: IDs 100-200 processed in 8.312201976776123 s
group 1: IDs 1100-1200 processed in 9.060782194137573 s
group 1: IDs 2100-2200 processed in 11.111422777175903 s
...
group 1: IDs 14100-14200 processed in 36.37690353393555 s
< /code>
Versionen: < /p>
Python 3.10
Selenium 4.1.0
Chrome 133.0.6943.142
[url=viewtopic.php?t=14917]Ich möchte[/url] 50 Gruppen (Site -Abschnitte) mit jeweils 100.000 Seiten -IDs durchlaufen, aber Selen wird mit jeder Iteration langsamer. Was könnte das Problem sein? < /P> [code]chrome_driver_way = './chromedriver/chromedriver.exe' options = Options() options.add_argument('--no-sandbox') options.add_argument('--headless') options.add_argument('--disable-dev-shm-usage') options.add_argument('--disable-gpu') options.add_argument("--disable-extensions") options.add_argument("--disable-infobars") options.add_argument("--log-level=2") options.add_argument('--ignore-ssl-errors') options.add_argument('--ignore-certificate-errors')
for group in groups: texts = [None] * len(ids) with webdriver.Chrome( executable_path=chrome_driver_way, options=options ) as browser: start = time.time() for n, id in enumerate(ids): browser.get(url.format(id)) text = browser.find_elements( By.XPATH, '//div/div/div' ) texts[n] = text[0].text if n != 0 and n % 100 == 0: print('group {}: IDs {}-{} processed in {} s'.format(group, n - 100, n, time.time() - start)) start = time.time() del text < /code> Protokolle: < /p> group 1: IDs 100-200 processed in 8.312201976776123 s group 1: IDs 1100-1200 processed in 9.060782194137573 s group 1: IDs 2100-2200 processed in 11.111422777175903 s ... group 1: IDs 14100-14200 processed in 36.37690353393555 s < /code> Versionen: < /p> Python 3.10 Selenium 4.1.0 Chrome 133.0.6943.142 [/code]
Ich bin nicht in der Lage, den WebDriver aufgrund eines Typfehlers zu lösen und habe es auf viele Arten versucht.
Mein Code:
package selenium;
public class Test {
Ich versuche, eine sehr grundlegende Aufgabe in einer Website mit Selen und Chrome zu automatisieren, aber irgendwie erkennt die Website, wenn Chrome von Selenium angetrieben wird und jede Anfrage...
Hallo, ich programmiere eine Drahtwelt in Python. Ich arbeite derzeit an der Animation \ GUI und habe einige Probleme. Die Animation verlangsamt sich nach ein paar Sekunden. /> Hier ist mein Code:...
Ich hatte kein Problem, dies auszuführen, bevor ich mit etwas unordentlich wird. Fehler.
@RunWith(Cucumber.class)
@CucumberOptions(features= src/test/Features , glue= { StepDefinitions },
monochrome...
unten ist meine Problemanweisung:
Ich möchte die folgenden Dinge verwenden, die mit Schleife (oder für Schleife )
generieren.
c top skip
1 1000 0
2 1001 2000 --- added 999
3 2001 3000 --- added...