Python -Generator: Daten aus der Datenbank lesen ⇐ Python

[Anonymous]

Gehen Sie gerade einen Code -Snippet aus diesem Artikel, damit Generator Daten aus der Datenbank lesen kann: < /p>
def generate_dataset(cursor):

cursor.execute(query)

for row in cursor.fetchall():
# some tramsformation
yield row

# 2.1. CREATE DF USING GENERATORS
def create_df_gen(cursor):
print('Creating pandas DF using generator...')

colnames = ['transaction_id',
'user_id',
'product_name',
'transaction_date',
'amount_gbp']

df = pd.DataFrame(data = generate_dataset(cursor), columns=colnames)

print('DF successfully created!\n')

return df
< /code>
Im obigen Code -Snippet haben wir Generator verwendet, das einen Wert von Fetchall () trägt und zurückgibt, aber ich bin verwirrt, wie es Speicherspeicher < /p>
In Betracht ziehen, wenn er in Erinnerung an Fetchall () zurückgegeben wird. Funktion
Es gibt im Grunde genommen aus der Liste nach, aber der gesamte Punkt des Lesens von Daten aus der Datenbank über Generator besteht darin, diesen Speicher Fußabdruck zu reduzieren, da Daten möglicherweise nicht in den Speicher passen. Ich kann mir nur einen Ansatz vorstellen, um die Abfrage in paginierter Weise zu lesen und dann Generator an diesem Punkt zu verwenden. Was nutzt Generator?