Die OpenMV Cam-Funktionen

Die OpenMV Cam ist ein kleines Mikrocontroller-Board mit geringem Stromverbrauch, mit dem Sie Anwendungen mit maschinellem Sehen in der realen Welt einfach implementieren können. Sie programmieren die OpenMV-Kamera in High-Level-Python-Skripten (mit freundlicher Genehmigung des MicroPython-Betriebssystems) anstelle von C/C++. Dies erleichtert den Umgang mit den komplexen Ausgaben von Bildverarbeitungsalgorithmen und das Arbeiten mit Datenstrukturen auf hoher Ebene. Aber Sie haben immer noch die volle Kontrolle über Ihre OpenMV-Kamera und ihre I/O-Pins in Python. Sie können ganz einfach die Aufnahme von Bildern und Videos bei externen Ereignissen auslösen oder Bildverarbeitungsalgorithmen ausführen, um herauszufinden, wie Sie Ihre I/O-Pins steuern können.

Der STM32H743II ARM Cortex M7-Prozessor läuft mit 480 MHz mit 1 MB SRAM und 2 MB Flash. Alle I/O-Pins geben 3,3 V aus und sind 5 V-tolerant. Der Prozessor verfügt über folgende E/A-Schnittstellen:

• Eine Full-Speed-USB-Schnittstelle (12 Mbs) zu Ihrem Computer. Ihre OpenMV-Kamera wird beim Anschließen als virtueller COM-Port und USB-Flash-Laufwerk angezeigt.
• Ein μSD-Kartensteckplatz mit einer Lese-/Schreibgeschwindigkeit von 100 Mbs, mit dem Ihre OpenMV-Kamera Bilder aufnehmen und Machine-Vision-Assets einfach von der μSD-Karte ziehen kann.
• Ein SPI-Bus, der bis zu 80 MB laufen kann, sodass Sie Bilddaten einfach vom System zum LCD-Schild, zum WiFi-Schild oder zu einem anderen Mikrocontroller streamen können.
• Ein I2C-Bus (bis zu 1 Mb/s), ein CAN-Bus (bis zu 1 Mb/s) und ein asynchroner serieller Bus (TX/RX, bis zu 7,5 Mb/s) für die Verbindung mit anderen Mikrocontrollern und Sensoren.
• Ein 12-Bit-ADC und ein 12-Bit-DAC.
• Drei E/A-Pins für die Servosteuerung.
• Interrupts und PWM an allen I/O-Pins (es gibt 10 I/O-Pins auf der Platine).
• Und eine RGB-LED und zwei leistungsstarke 850-nm-IR-LEDs.

Ein abnehmbares Kameramodulsystem, mit dem die OpenMV Cam H7 mit verschiedenen Sensoren verbunden werden kann:

• Die OpenMV Cam H7 ist mit einem MT9M114-Bildsensor ausgestattet, der 640 x 480 8-Bit-Graustufenbilder oder 640 x 480 8-Bit-BAYER-Bilder mit 40 FPS aufnehmen kann, wenn die Auflösung über 320 x 240 liegt, und 80 FPS, wenn sie darunter liegt. Die meisten einfachen Algorithmen laufen zwischen 40 und 80 FPS bei QVGA-Auflösungen (320 x 240) und darunter. Ihr Bildsensor wird mit einem 2,1-mm-Objektiv an einer standardmäßigen M12-Objektivfassung geliefert. Wenn Sie speziellere Objektive mit Ihrem Bildsensor verwenden möchten, können Sie diese ganz einfach selbst kaufen und anbringen.
• Für professionelle Bildverarbeitungsanwendungen können Sie unser Global Shutter Camera Module kaufen.
• Für thermische Bildverarbeitungsanwendungen können Sie unser FLIR Lepton Adaptermodul kaufen.

Ein LiPo-Akkuanschluss, der mit 3,7-V-LiPo-Akkus kompatibel ist, die üblicherweise online für Hobby-Roboteranwendungen verkauft werden.

Schnittstellenbibliothek

Die OpenMV-Kamera ist mit einer RPC-Bibliothek (Remote Python/Procedure Call) ausgestattet, die es einfach macht, die OpenMV-Kamera an Ihren Computer, einen SBC (Einplatinencomputer) wie den RaspberryPi oder Beaglebone oder einen Mikrocontroller wie den Arduino anzuschließen oder ESP8266/32. Die RPC-Schnittstellenbibliothek funktioniert über:

• Async Serial (UART) – bei bis zu 7,5 Mb/s.
• I2C-Bus - mit bis zu 1 Mb/s.
• SPI-Bus – mit bis zu 80 Mb/s.
• CAN-Bus – mit bis zu 1 Mb/s.
• USB Virtual COM Port (VCP) – mit bis zu 12 Mb/s.
• WLAN mit dem WiFi Shield – mit bis zu 12 Mb/s.

Mit der RPC-Bibliothek können Sie ganz einfach Bildverarbeitungsergebnisse erhalten, RAW- oder JPG-Bilddaten streamen oder die OpenMV-Kamera einen anderen Mikrocontroller für die Hardwaresteuerung auf niedrigerer Ebene wie das Antreiben von Motoren steuern lassen.

OpenMV bietet die folgenden Bibliotheken für die Anbindung Ihrer OpenMV-Kamera an andere unten aufgeführte Systeme:

• Generische Python-Schnittstellenbibliothek für USB- und WLAN-Kommunikation Bietet Python-Code zum Verbinden Ihrer OpenMV-Kamera mit einem Windows-, Mac- oder Linux-Computer (oder RaspberryPi/Beaglebone usw.) mit Python programmgesteuert über USB VCP oder Ethernet/WLAN (d. h. mit Sockets) .
• Arduino-Schnittstellenbibliothek für I2C-, SPI-, CAN- und UART-Kommunikation

Anwendungen

Die OpenMV Cam kann derzeit für folgende Dinge verwendet werden (in Zukunft mehr):

• TensorFlow Lite für Mikrocontroller-Unterstützung
  • Mit der Unterstützung von TensorFlow Lite können Sie benutzerdefinierte Bildklassifizierungs- und Segmentierungsmodelle an Bord Ihrer OpenMV-Kamera ausführen. Mit der Unterstützung von TensorFlow Lite können Sie komplexe Bereiche von Interesse in der Ansicht einfach klassifizieren und I/O-Pins basierend auf dem, was Sie sehen, steuern. Weitere Informationen finden Sie im TensorFlow-Modul.
  • Die OpenMV Cam verfügt über Edge Impulse-Integration für einfaches Training von TensorFlow Lite-Modellen in der Cloud. Mit OpenMV IDE und Edge Impulse können Sie ein Modell ganz einfach in 15 Minuten trainieren! Hier ist ein Video, das zeigt, wie es funktioniert.
• Personenerkennung
  • Mit unserem integrierten Personendetektor TensorFlow Lite-Modell können Sie erkennen, ob sich eine Person im Sichtfeld befindet. Video-Demo hier.
• Vorlagenabgleich
  • Sie können den Vorlagenabgleich mit Ihrer OpenMV-Kamera verwenden, um zu erkennen, wenn ein übersetztes, vorab gespeichertes Bild angezeigt wird. Beispielsweise kann der Vorlagenabgleich verwendet werden, um Referenzmarken auf einer Leiterplatte zu finden oder bekannte Ziffern auf einem Display zu lesen.
• Lineare Barcode-Decodierung
  • Die OpenMV Cam H7 Plus kann auch lineare 1D-Barcodes dekodieren. Insbesondere kann es EAN2-, EAN5-, EAN8-, UPCE-, ISBN10-, UPCA-, EAN13-, ISBN13-, I25-, DATABAR-, DARABAR_EXP-, CODABAR-, CODE39-, CODE93- und CODE128-Barcodes dekodieren. Sie können unser Video zu dieser Funktion hier sehen.
• QR-Code-Erkennung/Decodierung
  • Sie können die OpenMV-Kamera verwenden, um QR-Codes in ihrem Sichtfeld zu lesen. Mit QR-Code-Erkennung/Decodierung können Sie intelligente Roboter herstellen, die Etiketten in der Umgebung lesen können. Sie können unser Video zu dieser Funktion hier sehen.
• Data-Matrix-Erkennung/Decodierung
  • Die OpenMV Cam H7 Plus kann auch Data Matrix 2D-Barcodes erkennen und decodieren. Sie können unser Video zu dieser Funktion hier sehen.

• Face Detection
  • Die OpenMV Cam H7 Plus kann auch Data Matrix 2D-Barcodes erkennen und decodieren. Sie können unser Video zu dieser Funktion hier sehen.
• Eye-Tracking
  • Sie können Eye Tracking mit Ihrer OpenMV-Kamera verwenden, um den Blick einer Person zu erkennen. Damit kann man dann zum Beispiel einen Roboter steuern. Eye Tracking erkennt, wohin die Pupille schaut, anstatt zu erkennen, ob sich ein Auge im Bild befindet.
• Kreiserkennung
  • Mit der OpenMV Cam H7 Plus können Sie ganz einfach Kreise im Bild erkennen. Überzeugen Sie sich selbst in diesem Video.
• Rechteckerkennung
  • Die OpenMV Cam H7 Plus kann auch Rechtecke erkennen, indem sie den Quad-Detektorcode unserer AprilTag-Bibliothek verwendet. Sehen Sie sich das Video hier an.
• Farbverfolgung
  • Sie können Ihre OpenMV-Kamera verwenden, um bis zu 16 Farben gleichzeitig in einem Bild zu erkennen (realistisch gesehen möchten Sie nie mehr als 4 finden), und jede Farbe kann eine beliebige Anzahl unterschiedlicher Blobs haben. Ihre OpenMV-Kamera teilt Ihnen dann Position, Größe, Schwerpunkt und Ausrichtung jedes Blobs mit. Mit der Farbverfolgung kann Ihre OpenMV-Kamera so programmiert werden, dass sie Dinge wie die Verfolgung der Sonne, die Linienverfolgung, die Zielverfolgung und vieles mehr macht. Video-Demo hier.
• AprilTag-Tracking
  • Noch besser als die obigen QR-Codes kann die OpenMV Cam H7 Plus auch AprilTags verfolgen. AprilTags sind rotations-, skalierungs-, scherungs- und beleuchtungsinvariante, hochmoderne Bezugsmarken. Wir haben hier ein Video zu dieser Funktion.
• Leitungserkennung
  • Unendliche Linienerkennung kann schnell auf Ihrer OpenMV-Kamera mit nahezu maximaler FPS durchgeführt werden. Und Sie können auch Liniensegmente mit nicht unendlicher Länge finden. Sie können unser Video dieser Funktion hier sehen. Darüber hinaus unterstützen wir die Ausführung linearer Regressionen auf dem Bild zur Verwendung in Linienverfolgungsanwendungen wie diesem DIY-Robocar.

• Markierungsverfolgung
  • Sie können Ihre OpenMV-Kamera verwenden, um Farbgruppen statt unabhängiger Farben zu erkennen. Auf diese Weise können Sie Farbmarker (2 oder mehr Farbmarkierungen) erstellen, die auf Objekten angebracht werden können, damit Ihre OpenMV-Kamera verstehen kann, was die markierten Objekte sind. Video-Demo hier.
• Optischer Fluss
  • Sie können Optical Flow verwenden, um die Übersetzung dessen zu erkennen, was Ihre OpenMV-Kamera betrachtet. Beispielsweise können Sie Optical Flow bei einem Quadrocopter verwenden, um festzustellen, wie stabil er in der Luft ist. Sehen Sie hier das Video der Funktion.
• Rahmendifferenzierung
  • Sie können die Bilddifferenzierung auf Ihrer OpenMV-Kamera verwenden, um Bewegungen in einer Szene zu erkennen, indem Sie sich ansehen, was sich geändert hat. Mit Frame-Differenzierung können Sie Ihre OpenMV-Kamera für Sicherheitsanwendungen verwenden. Sehen Sie sich hier das Video der Funktion an.
• Bilderfassung
  • Sie können die OpenMV-Kamera verwenden, um Graustufen-/RGB565-BMP-/JPG-/PPM-/PGM-Bilder aufzunehmen. Sie steuern direkt, wie Bilder in Ihrem Python-Skript erfasst werden. Das Beste ist, dass Sie Bildverarbeitungsfunktionen ausführen und/oder auf Frames zeichnen können, bevor Sie sie speichern.
• Videoaufnahme
  • Sie können die OpenMV-Kamera verwenden, um bis zu Graustufen/RGB565-MJPEG-Videos oder GIF-Bilder (oder RAW-Videos) aufzuzeichnen. Sie steuern direkt, wie jeder Videoframe in Ihrem Python-Skript aufgezeichnet wird, und haben die vollständige Kontrolle darüber, wie die Videoaufzeichnung beginnt und endet. Und wie beim Erfassen von Bildern können Sie Bildverarbeitungsfunktionen ausführen und/oder auf Videoframes zeichnen, bevor Sie sie speichern.

Schließlich können alle oben genannten Funktionen in Ihrer eigenen benutzerdefinierten Anwendung zusammen mit der I/O-Pin-Steuerung gemischt und angepasst werden, um mit der realen Welt zu kommunizieren.