Wie kann ich einen TransformManyBlock in einem Dataflow-Mesh drosseln?
Ich habe eine BoundedCapacity angegeben, aber es sieht so aus, als ob sie sich nur auf die Eingabewarteschlange auswirkt.
Mein Block verarbeitet also weiterhin die Eingabe- und Ausgabewarteschlange.
Für die folgenden Blöcke ist auch eine BoundedCapacity angegeben, und dann werden alle meine Elemente in der Ausgabewarteschlange gestapelt TransformManyBlock verbraucht meinen gesamten RAM.
Wie kann ich einen TransformManyBlock in einem Dataflow-Mesh drosseln?
Ich habe eine BoundedCapacity angegeben, aber es sieht so aus, als ob sie sich nur auf die Eingabewarteschlange auswirkt.
Mein Block verarbeitet also weiterhin die Eingabe- und Ausgabewarteschlange.
Für die folgenden Blöcke ist auch eine BoundedCapacity angegeben, und dann werden alle meine Elemente in der Ausgabewarteschlange gestapelt TransformManyBlock verbraucht meinen gesamten RAM.
Ich arbeite an einer Apache Beam-Pipeline, die Daten verarbeitet und in BigQuery schreibt. Die Pipeline funktioniert einwandfrei, wenn ich DirectRunner verwende, aber wenn ich zum DataflowRunner...
Ich habe ein großes Problem mit Spring Cloud -Datenfluss, die Jobs mit Eigenschaften aus früheren Arbeitsplätzen ausführen. ist sogar möglich). class = Lang-Java PrettyPrint-Override >import...
Ich lese gerade über TPL DataFlow -Pipelines und es gibt etwas Neugieriges, wenn es um Transformblocks geht. Wie ich es verstehe, akzeptiert TransformBlock eine Eingabe vom Typ Tinput, transformiert...
Ich lese gerade über TPL DataFlow -Pipelines und es gibt etwas Neugieriges, wenn es um Transformblocks geht. Wie ich es verstehe, akzeptiert TransformBlock eine Eingabe vom Typ Tinput , transformiert...
Ich möchte einen Datenflussstrahljob mit Airflow ausführen, der auf Cloud Composer (GCP) gehostet wird.from airflow import models
from airflow.providers.apache.beam.operators.beam import...
Mobile version