Ich baue eine App, die ein tf-lite-Modell namens MoveNet verwendet, das 17 Körperschlüsselpunkte erkennt, sowie mein eigenes tf-lite-Modell darüber hinaus (nennen wir es PoseClassifier), um Posen basierend auf den Daten zu klassifizieren zurückgegeben von MoveNet.
Ich benötige Hilfe bei der Entscheidung, ob ich die tf-lite-Modelle im Front-End oder Back-End ausführen soll. Ich werde die Optionen unten erklären
Führen Sie alles im Frontend aus. Verwenden Sie das tf-lite-Plugin von Flutter, um
MoveNet und PoseClassifier direkt auf dem Gerät auszuführen. Dies würde
eine sofortige Reaktion auf die Benutzeroberfläche ermöglichen, um den Benutzer darüber zu informieren, wann er
eine bestimmte Pose einnimmt oder verlässt, ohne sich auf Netzwerklatenz-/Konnektivitätsprobleme verlassen zu müssen
Hybrider Ansatz. Führen Sie MoveNet im Front-End aus, um die Schlüsselpunktdaten abzurufen, und senden Sie diese Informationen an das PoseClassifier-Modell im Back-End, indem Sie eine dieser Unteroptionen verwenden.
2A. Senden und empfangen Sie kontrovers die Daten einer kleinen Anzahl
Frames von der Kamera des Benutzers (bis dieser den Stream beendet). Es würde zu einer geringen Latenz kommen, da PoseClassifier ausgeführt werden muss
und dann die Daten zurückgeben muss, aber das Feedback kommt sehr nahe an Echtzeit
2B. Verarbeiten Sie das gesamte Video auf einmal im Front-End über MoveNet
(nachdem der Benutzer den Stream beendet hat) und senden Sie diese Daten an das Back-End
zur Verarbeitung durch PoseClassifier. Dies wäre keine Echtzeit,
da Sie Ergebnisse erst nach Ende des Videos erhalten würden.
Führen Sie alles auf dem aus Backend. Senden Sie die rohen Videodaten an das Back-End, wo MoveNet und PoseClassifier sie verarbeiten und die Ergebnisse zurückgeben. Auf den ersten Blick gefällt mir diese Option nicht, da ich davon ausgehe, dass der Versuch, ein großes Video an das Back-End zu senden, einige Zeit in Anspruch nehmen würde.
Ich habe eine leichte Vorliebe für Echtzeit-Feedback, aber wenn hier jemand mit mehr Erfahrung als ich weiß, dass das nicht plausibel ist, lassen Sie es mich bitte wissen und geben Sie mir einen Rat / Lösungen.
Ich baue eine App, die ein tf-lite-Modell namens MoveNet verwendet, das 17 Körperschlüsselpunkte erkennt, sowie mein eigenes tf-lite-Modell darüber hinaus (nennen wir es PoseClassifier), um Posen basierend auf den Daten zu klassifizieren zurückgegeben von MoveNet. Ich benötige Hilfe bei der Entscheidung, ob ich die tf-lite-Modelle im Front-End oder Back-End ausführen soll. Ich werde die Optionen unten erklären [list] [*]Führen Sie alles im Frontend aus. Verwenden Sie das tf-lite-Plugin von Flutter, um MoveNet und PoseClassifier direkt auf dem Gerät auszuführen. Dies würde eine sofortige Reaktion auf die Benutzeroberfläche ermöglichen, um den Benutzer darüber zu informieren, wann er eine bestimmte Pose einnimmt oder verlässt, ohne sich auf Netzwerklatenz-/Konnektivitätsprobleme verlassen zu müssen [*]Hybrider Ansatz. Führen Sie MoveNet im Front-End aus, um die Schlüsselpunktdaten abzurufen, und senden Sie diese Informationen an das PoseClassifier-Modell im Back-End, indem Sie eine dieser Unteroptionen verwenden. 2A. Senden und empfangen Sie kontrovers die Daten einer kleinen Anzahl Frames von der Kamera des Benutzers (bis dieser den Stream beendet). Es würde zu einer geringen Latenz kommen, da PoseClassifier ausgeführt werden muss und dann die Daten zurückgeben muss, aber das Feedback kommt sehr nahe an Echtzeit 2B. Verarbeiten Sie das gesamte Video auf einmal im Front-End über MoveNet (nachdem der Benutzer den Stream beendet hat) und senden Sie diese Daten an das Back-End zur Verarbeitung durch PoseClassifier. Dies wäre keine Echtzeit, da Sie Ergebnisse erst nach Ende des Videos erhalten würden.
[*]Führen Sie alles auf dem aus Backend. Senden Sie die rohen Videodaten an das Back-End, wo MoveNet und PoseClassifier sie verarbeiten und die Ergebnisse zurückgeben. Auf den ersten Blick gefällt mir diese Option nicht, da ich davon ausgehe, dass der Versuch, ein großes Video an das Back-End zu senden, einige Zeit in Anspruch nehmen würde.
[/list] Ich habe eine leichte Vorliebe für Echtzeit-Feedback, aber wenn hier jemand mit mehr Erfahrung als ich weiß, dass das nicht plausibel ist, lassen Sie es mich bitte wissen und geben Sie mir einen Rat / Lösungen.
Mein Projekt hat eine untere Leiste mit Registerkarten A, B und C.
Die Registerkarte C -Ansicht hat eine eigene Navigation C1, C2, C3.
Wenn der Benutzer navigiert, z. C -> C1 -> C2, als wieder zu...
Dies funktioniert perfekt, wenn der Benutzer in der App -Leiste auf die Back -Schaltfläche klickt. In Android-Geräten, wenn der Benutzer eine Geste von Swipe-to-Go-Back von der rechten Rande des...
Ich weiß nicht warum, aber ich kann die App nicht auf meinem neuen MacBook erstellen oder ausführen. Ich führe denselben Ordner auf einem anderen Mac oder meinem Windows-Computer aus und läuft...
Ich möchte ein TensorFlow Lite -Programm erstellen, das auf einem ARM64 -eingebetteten Linux -Gerät ausgeführt wird. libtensorflolit.so freigegebene Bibliothek, die wiederum mit
erstellt wurdebazel...