Wie man mit PYSPARK ein Web -Scraping macht
Posted: 16 Feb 2025, 11:47
Hallo, ich habe eine Frage, wie man das Web -Scraping durchführt und die Antwort in pyspark
hier ist mein Code < /p>
Aber ich denke, ich mache es falsch. Wie kann ich es mit pyspark lesen?
hier ist mein Code < /p>
Code: Select all
import requests
import pyspark
from pyspark.sql.functions import *
from pyspark.sql import SparkSession
r = requests.get('https://www.skysports.com/football-scores-fixtures')
spark=SparkSession.builder.getOrCreate()
df=spark.read.text(r.content)