Wie erkennt man den Nordpfeil auf einem Grundriss? ⇐ Python

[Guest]

Ich arbeite an einer Aufgabe, bei der es darum geht, Grundrisse mithilfe multimodaler KI-Modelle (z. B. Google Gemini) zu analysieren, um strukturierte Informationen wie die Position von Einstiegspunkten, Schlafzimmern und anderen wichtigen Merkmalen zu extrahieren.
Es gibt jedoch eine Herausforderung bei der Erkennung der Richtungsausrichtung im Grundriss.
Hier ist ein Beispielbild eines Grundrisses:
< img alt="Bildbeschreibung hier eingeben" src="https://i.sstatic.net/v86YlyHo.jpg" />
In der unteren rechten Ecke befindet sich ein Richtungsanzeiger, der nach Norden (N) zeigt, mit einem Pfeil nach oben nach oben. Als Menschen können wir leicht verstehen, dass der Norden nach oben zeigt, und wir können unsere Interpretation des Grundrisses entsprechend anpassen. Wenn jedoch ein KI-Modell zum Verarbeiten des Bildes verwendet wird, kann das Modell die Beschriftung „N“ nicht lesen oder die Pfeilrichtung nicht verstehen, was zu einer falschen Ausrichtungsanalyse führt.
Um dieses Problem zu beheben, Ich habe versucht, PaddleOCR zu verwenden, um Text im Bild zu erkennen und ihn mit Anmerkungen zu versehen. Der von mir verwendete Code wird unten bereitgestellt
aus dem PaddleOCR-Import PaddleOCR, draw_ocr
aus dem PIL-Importbild

Code: Select all

# Initialize PaddleOCR
ocr = PaddleOCR(use_angle_cls=True, lang='en')  # Download and load the model once

# Provide the image path
img_path = 'prop_1.png'

# Perform OCR
result = ocr.ocr(img_path, cls=True)

# Print the result
for idx in range(len(result)):
res = result[idx]
for line in res:
print(line)

Die OCR-Ausgabe erkennt erfolgreich Textbezeichnungen wie „Schlafzimmer“, „Küche“, „Wohnzimmer“ usw., erkennt jedoch nicht die Bezeichnung „N“ und den darauf hinweisenden Pfeil nach oben die Richtung.