Vision

Wissenschaftliche Berichte Band 13, Artikelnummer: 12741 (2023) Diesen Artikel zitieren

117 Zugriffe

3 Altmetrisch

Details zu den Metriken

Putzen ist eine grundlegende Routineaufgabe im menschlichen Leben, die heute Spitzentechnologien wie Robotik und künstlicher Intelligenz überlassen wird. Es wurden verschiedene Bodenreinigungsroboter mit unterschiedlichen Reinigungsfunktionen wie Staubsaugen und Schrubben entwickelt. Allerdings kann es zu Fehlern kommen, wenn ein Roboter versucht, eine inkompatible Schmutzart zu reinigen. Diese Situationen verringern nicht nur die Effizienz des Roboters, sondern führen auch zu schweren Schäden an den Robotern. Daher ist die Entwicklung effektiver Methoden zur Klassifizierung der in verschiedenen Regionen durchgeführten Reinigungsaufgaben und deren Zuordnung zum jeweiligen Reinigungsmittel zu einem trendigen Forschungsgebiet geworden. In diesem Artikel wird ein visionsbasiertes System vorgeschlagen, das YOLOv5- und DeepSORT-Algorithmen verwendet, um Schmutz zu erkennen und zu klassifizieren, um eine Schmutzverteilungskarte zu erstellen, die die Regionen angibt, die verschiedenen Reinigungsanforderungen zugewiesen werden sollen. Diese Karte wäre für einen kollaborativen Reinigungsrahmen nützlich, um jeden Reinigungsroboter in seiner jeweiligen Region einzusetzen, um einen unterbrechungsfreien und energieeffizienten Betrieb zu erreichen. Das vorgeschlagene Verfahren kann mit jedem mobilen Roboter und auf jeder Oberfläche und jedem Schmutz ausgeführt werden und erreicht eine hohe Genauigkeit von 81,0 % für die Schmutzanzeige in der Schmutzverteilungskarte.

Putzen gilt in der Regel als monotone Arbeit, die hauptsächlich in schmutzigen und ungünstigen Umgebungen durchgeführt wird1. Es kann sogar mit gefährlichen Objekten und Orten in Verbindung gebracht werden oder bei menschlicher Arbeit zu kumulativen Traumastörungen führen2. Reinigung ist eine wesentliche Aufgabe zur Aufrechterhaltung des Lebensstandards. Daher stehen in jüngster Zeit Reinigungsroboter als ideale Lösung für dieses Problem im Vordergrund3. Die Entwicklungen bei Reinigungsrobotern in den letzten 20 Jahren konzentrierten sich darauf, ihre Autonomie zu stärken, um ihre Leistung zu verbessern. Viele Reinigungsroboter wurden für die Reinigung von Böden4, Fassaden5, Schwimmbädern6, Lüftungskanälen7 und Treppenhäusern8 entwickelt. Alle diese Roboter verfügen über einzigartige Mechanismen und Autonomiestrategien, die speziell für ihre jeweiligen Reinigungsaufgaben optimiert sind.

Allerdings sind Reinigungsroboter für Fassaden, Rohre, Lüftungskanäle und Abwasserleitungen noch keine Massenware. Diese Systeme sind speziell auf die Anforderungen und Geometrie der zu reinigenden Oberfläche bzw. des zu reinigenden Objekts optimiert und werden ausschließlich im professionellen Umfeld und nicht im Wohnbereich eingesetzt3. Geräte wie Bodenreinigungsroboter haben jedoch Massenmärkte mit erheblichen Umsätzen geschaffen. Der globale Markt für Reinigungsroboter wurde im Jahr 2021 auf 8,34 Milliarden US-Dollar geschätzt, mit einer durchschnittlichen jährlichen Wachstumsrate von 22,7 %9. So gehören Staubsaugroboter für den Hausgebrauch zu den meistverkauften Robotersystemen weltweit. Flächenabdeckung10, Energieverbrauch11, Abdeckungszeit12, Zuverlässigkeit und Sicherheit13 sowie menschlicher Komfort14 sind die allgemein erwarteten Eigenschaften von Reinigungsrobotern.

Staubsaugen, Schrubben und Nasswischen sind unterschiedliche Aufgaben, die von Bodenreinigungsrobotern ausgeführt werden. Der Einsatz des passenden Roboters für jede Reinigungsaufgabe kann die Effizienz steigern15. Zur Verbesserung der Reinigungseffizienz kann ein Framework verwendet werden, das koordinierte Vorgänge zwischen verschiedenen Robotern, wie z. B. Staubsaugrobotern, Wischrobotern und Scheuerrobotern, ermöglicht, um unterschiedliche Reinigungsanforderungen zu erfüllen. Diese Art von Framework wird im Rahmen dieses Dokuments als kollaboratives Reinigungsframework bezeichnet. Darüber hinaus kann ein kollaboratives Reinigungskonzept Ausfälle und potenzielle Schäden an den Robotern oder der Umwelt vermeiden, die durch den Einsatz inkompatibler Reinigungsroboter für bestimmte Aufgaben entstehen. Wenn beispielsweise ein Staubsaugerroboter versucht, Flüssigkeiten aufzusaugen, oder ein Nassreinigungsroboter auf festen Schmutz stößt, kann dies zu unerwünschten Ergebnissen führen.

In diesem Zusammenhang sollte ein kollaborativer Reinigungsrahmen mit einer Reihe heterogener Reinigungsroboter in der Lage sein, die Reinigungsanforderungen an jedem Standort einer interessierenden Umgebung zu identifizieren. Um dieser Notwendigkeit gerecht zu werden, kann die Rolle eines Inspektionsroboters als kollaborativer Reinigungsrahmen eingeführt werden. Dabei ermittelt der Inspektionsroboter den Reinigungsbedarf für jeden Bereich und leitet das jeweilige Reinigungsmittel zu den identifizierten Stellen, wobei unnötige Abdeckungen vermieden werden, um Effizienz und Zuverlässigkeit zu gewährleisten. Beispielsweise wird ein Wischroboter an Orte mit verschütteten Flüssigkeiten geschickt, während der Saugroboter an Orte mit Staub geschickt wird. Diese Strategie gewährleistet eine effiziente Energienutzung und verhindert mögliche Schäden am Saugroboter durch Flüssigkeit. Ein solcher Inspektionsroboter kann einen einfachen Aufbau mit geringem Energieverbrauch haben und sollte lediglich mit einem System zur Inspektion der Umgebung ausgestattet sein. Ein solches Konzept muss jedoch noch vollständig umgesetzt werden, und in der Literatur finden sich lediglich einige unterstützende Konzepte. Beispielsweise schlugen Ramalingam et al.16 ein auf Videoüberwachung (CCTV) basierendes System zur Führung eines Roboters für die selektive Reinigung vor. Hierbei werden der Schmutzort und menschliche Aktivitäten erkannt und ein optimaler Weg für den Roboter zur punktuellen Reinigung erstellt, was zu einer höheren Effizienz führt. Allerdings konnte das System unterschiedliche Schmutzarten und den Einsatz einer Reihe von Robotern mit unterschiedlichen Reinigungsfunktionen nicht berücksichtigen.

Um dieses Konzept erfolgreich umzusetzen, sollte das Wahrnehmungssystem des Inspektionsroboters in der Lage sein, den Schmutz zu klassifizieren und eine Schmutzverteilungskarte der Umgebung zu erstellen, die zur Steuerung der Gruppe von Reinigungsrobotern mit unterschiedlichen Reinigungsfunktionen verwendet werden kann. In jüngster Zeit werden Wahrnehmungsanforderungen in der mobilen Robotik größtenteils durch Computer Vision und künstliche Intelligenz (KI) erfüllt17. Es wurden zahlreiche Untersuchungen durchgeführt, um die auf einem Boden vorhandenen Schmutzarten zu klassifizieren und so die Leistung von Reinigungsrobotern zu verbessern. Darunter befanden sich Entwicklungen von Systemen zur Schlamm- und Schmutztrennung18, zur Trennung von flüssigem und festem Schmutz19, zur Fleckenerkennung20 und zur Schmutztypklassifizierung von Büroumgebungen21. Der Umfang eines Großteils der Arbeit beschränkt sich jedoch auf die Klassifizierung von Schmutz, und die Erstellung von Schmutzverteilungskarten zur Verwendung durch eine Reihe von Reinigungsrobotern mit heterogenen Fähigkeiten wurde nicht diskutiert.

In diesem Artikel wird eine neuartige Methode zur Kartierung der Schmutzverteilung vorgeschlagen, die speziell für den Einsatz in einem kollaborativen Reinigungsrahmen mit einer Reihe heterogener Roboter mit einzigartigen Reinigungsfunktionen entwickelt wurde. Die vorgeschlagene Kartierungsmethode wird unter Verwendung von YOLOv5- und DeepSORT-Algorithmen entwickelt, um Schmutz zu erkennen, zu klassifizieren und zu verfolgen. Anschließend wird eine Karte erstellt, die die Regionen angibt, die verschiedenen Reinigungsanforderungen zugewiesen werden sollen. Staubsaugen, Wischen und Schrubben gelten als Reinigungsanforderungen in dieser Arbeit. Es wird erwartet, dass diese Karte von einem kollaborativen Reinigungsrahmen mit einer Reihe heterogener Reinigungsroboter verwendet wird, die jeweils über einzigartige Reinigungsfunktionen verfügen. Somit würde die in diesem Artikel vorgeschlagene Arbeit zur Entwicklung des Bereichs der robotergestützten Bodenreinigung beitragen, da in der Literatur nicht über die Zuordnung der Schmutzverteilung in die drei Kategorien Feststoff, Flüssigkeit und Fleck berichtet wurde. Die zur Erreichung des vorgeschlagenen Ziels angewandte Methodik wird im Abschnitt „Methode“ vorgestellt. Im Abschnitt „Ergebnisse und Diskussion“ wird die experimentelle Validierung des vorgeschlagenen Systems erörtert. Die Schlussfolgerungen der Arbeit finden Sie im Abschnitt „Schlussfolgerung“.

Eine Übersicht über das Konzept eines kollaborativen Reinigungsrahmens mit einer Reihe heterogener Roboter mit einzigartigen Reinigungsfunktionen ist in Abb. 1 dargestellt. Diese Art eines kollaborativen Reinigungsrahmens mit einer Reihe heterogener Roboter erfordert die Kenntnis der Schmutzverteilung in der Umgebung zusammen mit den Schmutzarten, die den Robotern für eine effiziente und effektive Reinigung zugewiesen werden. Beispielsweise wird der Wischroboter für den flüssigen Schmutz zuständig sein, der Schrubbroboter für die Flecken und der Staubsaugerroboter für die Reinigung des festen Schmutzes. Diese Strategie würde mögliche Schäden im Falle der Verwendung inkompatibler Roboter verhindern (z. B. Verwendung eines Saugroboters zum Verschütten einer Flüssigkeit). In diesem Zusammenhang sollte von einem Inspektionsroboter, der speziell für die Kartenerstellung zuständig ist, eine Karte erstellt werden, die die Schmutzstellen in einem ausgewählten Bereich mit der entsprechenden Klasse angibt (fester Schmutz, verschüttete Flüssigkeiten und Flecken werden als Klassen betrachtet). Daher wird im Rahmen dieser Arbeit die Entwicklung der Schmutzkartierungsmethode (getaggt mit Schmutzklassen) für den Inspektionsroboter angegangen, um das Ziel eines kollaborativen Reinigungsrahmens mit einer Reihe heterogener Roboter zu erreichen.

Überblick über die vorgeschlagene Schmutzkartierungsmethode in einem kollaborativen Reinigungsrahmen mit einer Reihe heterogener Roboter. Im Rahmen dieser Arbeit wird die Entwicklung der Schmutzkartierungsmethode für den Inspektionsroboter behandelt.

Das vorgeschlagene System verwendet YOLOv5, um Schmutz zu erkennen und zu klassifizieren. Für diese Arbeit wurde das YOLOv5-Modell ausgewählt, da YOLOv5 ein schnelles, genaues und leichtes Objekterkennungsmodell ist, das sich ideal für Anwendungen eignet, die sowohl Objekterkennung als auch -verfolgung erfordern22,23. Eine der Stärken von Deep Convolutional Neural Network-basierten Klassifikatoren wie YOLOv5 zur Objekterkennung ist ihre Fähigkeit, während des Trainings automatisch Merkmale aus den Eingabebilddaten zu lernen. Dies bedeutet, dass keine manuellen Funktionen für das Netzwerk bereitgestellt werden müssen. Darüber hinaus hat YOLOv5 einen geringeren Speicherbedarf als andere Modelle und eignet sich daher für den Einsatz auf ressourcenbeschränkten Geräten wie mobilen Robotern. Um die wiederholte Erkennung desselben Objekts während der Navigation des Roboters zu vermeiden, wurde eine Tracking-Methode implementiert. Darüber hinaus kann der Einsatz eines Trackers die Erkennung und Erkennungsrate verbessern. Daher wird DeepSORT zur Nachverfolgung verwendet, wobei erfolgreiche Erkennungen durch den YOLOv5-Algorithmus in den DeepSORT-Algorithmus zur Nachverfolgung und Zuweisung einer eindeutigen Identität eingespeist werden.

„You Only Look Once“, auch bekannt als YOLO, ist ein gängiger einstufiger Objekterkennungsalgorithmus. Der YOLO-Algorithmus ist in der Lage, Objekte in einem bestimmten Bild anhand der definierten Klassen zu identifizieren. Der Algorithmus gibt die Begrenzungsrahmen um die erkannten Objekte, die Klasse jedes Objekts und den Erkennungskonfidenzwert aus. Der Literatur zufolge kann die Inferenzgeschwindigkeit der YOLOv5-Netzwerke bei der Echtzeit-Objekterkennung mit guter Genauigkeit genutzt werden22,23. Diese Fähigkeit wurde durch zahlreiche Erkennungsanwendungen wie Umweltüberwachung24 und Qualitätskontrollverarbeitung25 bestätigt. Diese hohe Inferenzgeschwindigkeit wird aufgrund seines einzigartigen Designs26,27 erreicht. Die Architektur von YOLOv5 ist in Abb. 2 dargestellt. Sie kann in drei Segmente unterteilt werden: Rückgrat, Hals und Kopf. Das Cross Stage Partial Network (CSPnet) ist das Rückgrat der YOLOv5-Architektur und hauptsächlich für die Extraktion informativer Funktionen zur Unterstützung der Objekterkennung verantwortlich. Dies trägt dazu bei, die räumliche Auflösung des Bildes zu verringern und seine Merkmalsauflösung (Kanalauflösung) zu erhöhen. Es verwendet kanalübergreifendes Pooling28, um die Feature-Maps während des Prozesses zur Generierung der Feature-Pyramide zu komprimieren. Daher ist es in der Lage, den Speicherverbrauch29 beim Extrahieren von Features um 75 % zu reduzieren, gepaart mit einem geringen Rechenaufwand, und dient als effektiver Feature-Extraktor für unser Dirt-Mapping-System. Das Halssegment führt die Merkmalsfusion durch. Der Kopfabschnitt der YOLOv5-Architektur besteht aus drei Faltungsschichten, die die Position der Begrenzungsrahmen, die Vorhersagewerte und die Objektklassen vorhersagen. Diese Informationen werden dann an den DeepSORT-Algorithmus übergeben.

Architektur von YOLOv5.

DeepSORT ist eine Weiterentwicklung des herkömmlichen SORT-Algorithmus (Simple Online and Real-time Tracking)30. Es wird verwendet, um Objekte zwischen zwei aufeinanderfolgenden Bildern zu verfolgen. Eine Übersicht über den DeepSORT-Algorithmus ist in Abb. 3 gegeben. DeepSORT verwendet den ungarischen Algorithmus31 zusammen mit SORT, um zwischen erkannten Objekten in aufeinanderfolgenden Frames zu unterscheiden und ist somit in der Lage, jedem erkannten Objekt eine eindeutige Identität zuzuweisen. Mithilfe der Kalman-Filterung32 werden dann die zukünftigen Positionen der erkannten Objekte vorhergesagt. Während der Spurverwaltung werden Objektspuren gelöscht, die bestimmte Bedingungen erfüllen, z. B. keine entsprechende Erkennung für eine festgelegte Anzahl von Bildern, hohe Unsicherheit oder geringes Vertrauen für eine bestimmte Dauer oder Überschreiten eines maximalen Spuralters, um genaue und relevante Spuren sicherzustellen Robustheit gegenüber Verdeckungen und Rauschen in Erkennungsdaten. Darüber hinaus ist es durch die Hinzufügung von Deep Learning in der Lage, Identitätswechsel zu minimieren, wenn sich das Objekt in aufeinanderfolgenden Frames bewegt. In dieser Arbeit werden die Bounding-Box-Koordinaten der von YOLOv5 erkannten Schmutzobjekte mit dem Frame zur Verfolgung an DeepSORT übergeben. Abhängig von den Koordinaten des Begrenzungsrahmens und dem Erscheinungsbild des Objekts weist DeepSORT jedem Schmutz eine eindeutige Identifikationsnummer zu und führt die Verfolgung durch. Die Ergebnisse des DeepSORT-Algorithmus werden zur Erstellung der Schmutzverteilungskarten verwendet.

Übersicht über den Objektverfolgungs-DeepSORT-Algorithmus.

Um das vorgeschlagene Modell zu trainieren, haben wir öffentlich verfügbare Schmutzdatensätze mit unseren eigenen neuen Daten kombiniert, um einen zu verwendenden Datensatz zu erstellen. Die Arbeit33 bewies die Wirksamkeit der Verwendung synthetischer Daten zum Trainieren eines Schmutzerkennungsmodells. Daher haben wir den in Abschnitt 33 bereitgestellten synthetisch generierten Datensatz als Teil unseres Datensatzes verwendet. Wir haben auch den ACIN-Datensatz34 kombiniert, da er aus realen Bildern mit schwierigen Lichtverhältnissen, komplexen Bodenmustern und unscharfen Bildern besteht, um einen robusteren Datensatz bereitzustellen. Da der ACIN-Datensatz außerdem nur aus einigen hundert Bildern bestand, haben wir mit einer RGB-Kamera auch unsere eigenen Daten über verschiedene Bodenmuster, Winkel und Lichtverhältnisse gesammelt, um einen ausgewogenen Datensatz zu erstellen. Nachdem wir unseren Datensatz mit den öffentlich verfügbaren Datensätzen (z. B. dem synthetischen Datensatz in33 und dem ACIN-Datensatz) kombiniert hatten, wandten wir Datenerweiterungstechniken wie Spiegeln und Rotationen an, um unseren Datensatz weiter zu diversifizieren. Diese Erweiterung kann die CNN-Lernrate verringern und die Überanpassung verringern. Darüber hinaus wurde die Größe der aufgenommenen Bilder auf 460 \(\times\) 460 Pixel geändert, um die Rechenlast in der Trainingsphase zu reduzieren. Dies führt zu einem beschrifteten Datensatz von 2858 Bildern mit den verschiedenen Schmutzklassen (z. B. fest, flüssig und fleckig). Dieser Datensatz wurde im Verhältnis 70:20:10 in Training, Validierung und Tests aufgeteilt, um die Wirksamkeit zu gewährleisten, wie in35,36 vorgeschlagen.

Transfer Learning37 wurde durch Einfrieren des Backbones implementiert und nutzte dabei die vorab trainierten Gewichte im COCO-Datensatz. Daher wird nur die letzte Schicht des Detektorkopfes modifiziert, um Feststoffe, Flüssigkeiten und Flecken zu erkennen. Der verwendete Optimierer war der Stochastic Gradient Descent (SGD)38 mit einem Abfall von 0,0005 und einer Lernrate von 0,01. Die Batch-Größe wurde auf 16 festgelegt und die Modelle wurden für 50 Epochen trainiert, wodurch die besten Gewichte eingespart wurden. Das Training wurde mit einer Nvidia GeForce GT 730 GPU und einer Intel(R) Core(TM) i5-8400 CPU mit 2,80 GHz und 2,81 GHz CPU durchgeführt.

Die trainierten visuellen Erkennungs- und Verfolgungssysteme werden auf einer mobilen Roboterplattform eingesetzt, um eine Karte zu erstellen, die die Schmutzverteilung der ausgewählten Umgebung zusammen mit der Schmutzart anzeigt. Hier ist die Transformation der Koordinaten vom Kamerasensor in den Weltrahmen wesentlich, um die globalen Koordinaten des Schmutzstandorts zu erhalten. Anschließend werden diese Koordinaten in die Karte übertragen, um den Schmutztyp am jeweiligen Standort anzuzeigen.

Transformation der Kamera-Anzeigekoordinaten in das Weltkoordinatensystem.

Diese Transformation kann anhand von Abb. 4 erklärt werden. Die Projektion des Objekts im Kamerasensor \((x_{s},y_{s})\) kann in \((x_{real},y_{real) transformiert werden })\) Koordinaten, die sich auf den Kamerarahmen beziehen, unter Verwendung der Gleichungen. (1) und (2). Hier repräsentieren die Winkel \(\alpha\) und \(\alpha '\) das Sichtfeld der Kamera in vertikaler bzw. horizontaler Ebene. Die durch \(\beta\) und \(\beta '\) dargestellten Variablen sind in der Gleichung redundant. Der Einfachheit halber wurde dies jedoch im Diagramm angegeben. Die Variablen a und b bezeichnen jeweils die Länge und Breite des Kamerasensors in Pixel, während \(\theta\) den Winkel der Mittelachse der Kamera zur vertikalen Linie darstellt. Die Höhe der Kamera vom Boden wird durch h dargestellt.

Nach der Transformation der Schmutzkoordinaten in Bezug auf den Kameraursprung (\(O_{c}\)) wurde eine weitere lineare Transformation durchgeführt, um die Koordinaten in Bezug auf den Roboterursprung (\(O_{r}\)) zu erhalten. Schließlich wurden unter Verwendung der Odometriedaten des Roboters in Bezug auf den Kartenursprung die Schmutzpositionen in Bezug auf den Kartenursprung (\(O_{m}\)) ermittelt. Gleichung (3) kann verwendet werden, um den Punkt P im Boden vom Kamerarahmen in den Kartenrahmen umzuwandeln.

Um die Karte zu erstellen, muss der Inspektionsroboter autonom in einem Boustrophedon-Bewegungsmuster navigiert werden, um den ausgewählten Bereich mit der Dimension \(L_{m} \times W_{m}\) vollständig zu inspizieren, wie in Abb. 5 dargestellt. Während Die Bewegung, der Standort des Roboters und die Informationen über den erkannten Schmutz werden protokolliert. Die Identifizierung erfolgt nur, wenn der Roboter an jedem Wegpunkt stationär ist. Der Abstand zwischen den Wegpunkten wird so gewählt, dass die Überlappung der Abdeckung minimiert wird. Nach der vollständigen Inspektion wurde die Schmutzkarte unter Verwendung der oben genannten Koordinatentransformationen erstellt.

Vorgeschlagene Inspektionsstrategie.

Als Inspektionsroboter für diese Arbeit wurde der hTetro-Roboter in quadratischer Konfiguration ohne Reinigungswerkzeuge verwendet. Der Roboter hat eine Gesamtlänge und -breite von 50 cm und eine Höhe von 10 cm. Er ist in der Lage, mithilfe von Mecanum-Rädern, die von mit Encodern ausgestatteten Gleichstrommotoren angetrieben werden, holonome Bewegungen auszuführen.

Der Roboter wird mithilfe des Robot Operating System (ROS) autonom gesteuert und wurde mit zwei Controllern entwickelt: einem primären Controller für die Fortbewegung des Roboters und einem sekundären Controller für die Schmutzverfolgung (siehe Abb. 6). Der Primärcontroller besteht aus drei Komponenten, die eine autonome Navigation in einer vordefinierten Umgebung ermöglichen. Diese Architektur umfasst das Abrufen von Rückmeldungen von Sensoren, das Berechnen des bestmöglichen Pfads und das Ausgeben von Steuerbefehlen an Motoren, um dem Pfad zu folgen. Zur Implementierung des Primärcontrollers wird ein Raspberry Pi3-Controller verwendet. Der Roboter verwendet eine vordefinierte Navigationskarte, um den globalen Pfad zu erstellen, der mit dem LIDAR (RP-LIDAR A3) und dem hector SLAM ROS-Paket erstellt wird. Der Roboter erstellt seinen lokalen Pfad mithilfe des Feedbacks des LIDAR-Sensors, um dynamischen Hindernissen in seiner Umgebung auszuweichen. Die Rad-Encoder, der LIDAR-Sensor und der IMU-Sensor (Vectornav V-100) liefern Feedback für die Roboterlokalisierung. Der Roboter kann durch die Zuweisung von Wegpunkten navigiert werden, und sein globaler Pfadplan wird als Boustrophedon-Bewegungsmuster definiert.

Das Deep-Learning-Modell wird gleichzeitig im sekundären Controller ausgeführt. Dazu sind am Roboter ein Laptop und eine Webcam installiert. Schmutzerkennungsdaten, einschließlich der Schmutzklasse und der Bounding-Box-Koordinaten in Bezug auf den Roboter, werden über ein drahtloses Kommunikationsprotokoll (Python-WIFI-Buchse) an die Hauptsteuerung übertragen. Ein parallel ausgeführter ROS-Knoten wird in der Primärsteuerung verwendet, um die Roboterpositions- und Schmutzerkennungsdaten zu abonnieren. Diese Datenmarkierung erleichtert die Erstellung einer Schmutzverteilungskarte in Bezug auf das globale Koordinatensystem. Insgesamt arbeiten die Autonomie des Roboters und das Deep-Learning-Modell zusammen, um ein umfassendes Dirt-Mapping-System zu schaffen.

ROS-basierte Autonomiearchitektur für Fortbewegung und Schmutzkartierung.

Die Bewertung der Wirksamkeit und Genauigkeit der vorgeschlagenen Methode erfolgte in zwei Schritten. Zunächst wurde das visionsbasierte Erkennungs- und Verfolgungssystem, das die Algorithmen YOLOv5 und DeepSORT nutzt, anhand der standardmäßigen statistischen Messungen evaluiert und mit den Benchmark-Objekterkennungsalgorithmen verglichen. Anschließend wurden Feldexperimente in zwei voreingestellten Umgebungen mit dem htetro-Roboter durchgeführt, um die Genauigkeit der generierten Schmutzverteilungskarte zu bewerten. Die in diesem Artikel vorgeschlagenen Deep-Learning-Modelle wurden in der Tensor-Flow 2.11 Win11-Version entwickelt und in einer Hardwarekonfiguration mit Intel(R) Core(TM) i5-8400 CPU @ 2,81 GHz CPU und Nvidia GeForce GT 730 Grafikkarten trainiert. Das gleiche Gerät wurde auch für die Test- und Bewertungsaufgaben verwendet.

Das Erkennungsmodell klassifizierte zufällige, mit Schmutz vermischte Proben erfolgreich in drei Klassen: fest, flüssig und fleckig. Eine Reihe von Beispielergebnissen ist in Abb. 7 dargestellt. Um die Leistung des vorgeschlagenen Schemas zu bewerten, werden standardmäßige statistische Maße, Genauigkeit (A), Präzision (P), Rückruf (R), \(F_{Maß}\) verwendet. und mittlere durchschnittliche Präzision (mAP) wurden verwendet. Diese Maßnahmen könnten eine umfassende Bewertung der vorgeschlagenen Leistung der Modelle ermöglichen. Die Berechnung dieser Maße ist in den Gleichungen angegeben. (4), (5), (6), (7) und (8) für A, P, R, \(F_{Maß}\) bzw. mAP. mAP ist numerisch gleich dem Durchschnittswert der durchschnittlichen Präzisionssumme (AP) über alle Kategorien hinweg, und dieses Maß wird zur Bewertung der Gesamtleistung des Modells verwendet. Die durchschnittliche Präzision (AP) ist definiert als die Präzision über alle Elemente einer Schmutzkategorie, wie in Gleichung (1) erläutert. (9). Hier repräsentieren tp, fp, tn, fn die wahren Positiven, falschen Positiven, wahren Negativen bzw. falschen Negativen gemäß der Standard-Konfusionsmatrix.

Die Ergebnisse für die Gesamterkennung und die Erkennung jeder Schmutzkategorie anhand dieser statistischen Maße sind in Tabelle 1 aufgeführt. Hierbei wurde der Schnittpunkt der Union (IoU) von 0,5 berücksichtigt. Diese Leistungsmatrizen bestätigten die Fähigkeit der trainierten YOLOv5-Architektur, alle Schmutzklassen mit hoher Genauigkeit zu erkennen. Die Leistungskennzahlen für die Klasse „Flecken“ sind relativ niedriger als für die Klassen „Feststoffe“ und „Flüssigkeiten“. Diese vergleichsweise geringere Leistung wurde beobachtet, da der Datensatz eine begrenzte Anzahl an Fleckenproben enthielt, die schwer zu erhalten und zu erstellen sind. Dennoch sind die Präzisions-, Erinnerungs- und F1-Werte für alle Klassen relativ hoch, was den Erfolg des Modells widerspiegelt.

Erfolgreiche Erkennung von Trainingsbildern. Hier bezieht sich die Klasse „schmutzig“ in den Begrenzungsrahmen auf festen Schmutz und die Klasse „Markierung“ auf Flecken, während Flüssigkeit als „flüssig“ bezeichnet wird.

Um die Effizienz unseres vorgeschlagenen Modells zu bewerten, wurde die mittlere durchschnittliche Präzision (mAP) bei IoU = 0,5 der YOLOv5-Architektur mit anderen beliebten Objekterkennungsnetzwerken wie Faster R-CNN Resnet39 und Mobilenet-SSDv240 verglichen. Beide Netzwerke wurden mit demselben Datensatz über einen ähnlichen Zeitraum trainiert, um eine unvoreingenommene Bewertung durchzuführen.

Tabelle 2 zeigt die während des Tests beobachteten statistischen Maße. [email protected] zeigt deutlich, dass YOLOv5 die anderen beiden Frameworks deutlich übertrifft. Die hier erzielten Ergebnisse stimmen auch mit der Literatur überein41,42,43, wo YOLOv5 die beste Leistung erbringt, gefolgt von Faster R-CNN Resnet und MobilenetSSDv2. YOLOv5 hat die kürzeste Inferenzzeit44,45 im Vergleich zu Faster R-CNN Resnet und MobilenetSSDv2. Daher weist YOLOv5 die beste Leistung in Bezug auf mAP und Inferenzzeit auf und ist damit die ideale Architektur für den Anwendungsfall. Darüber hinaus ist YOLOv5 für Hardware mit geringer Rechenleistung optimiert, was den Einsatz von YOLOv5 auf einem mobilen Roboter zur Schmutzerkennung und -klassifizierung in Echtzeit ermöglicht.

Damit das gesamte vorgeschlagene System funktioniert, ist es wichtig, den Schmutz zunächst zu erkennen und ihn dann mithilfe der Ausgabe des Schmutzerkennungsmoduls zu verfolgen. Daher besteht das Hauptziel des Schmutzverfolgungsmoduls darin, Schmutzobjekte mit hoher Geschwindigkeit und Genauigkeit zu verfolgen und zu zählen. Die Ausgabe des Dirt-Tracking-Moduls ist ein Dirt-Bounding-Box mit einer Sequenznummer. Dieser Test wurde durchgeführt, indem ein Video in das System eingespeist wurde. Aus Abb. 8 ist ersichtlich, dass das YOLOv5 + DeepSORT-System in der Lage ist, die verschiedenen Schmutzobjekte erfolgreich zu verfolgen und zu zählen. Darüber hinaus kann das vorgeschlagene System die Eintritts-/Austrittszeit ausgeben und es Robotern ermöglichen, sich zu Kartierungszwecken mit der verfolgten Erkennung zu synchronisieren.

Verfolgte Erkennungen in aufeinanderfolgenden Bildern mithilfe von Echtzeit-Videomaterial. Hier bezieht sich die Klasse „dirty“ in den Begrenzungsrahmen auf festen Schmutz.

Insgesamt arbeitet das vorgeschlagene System relativ schnell mit geringer Inferenzzeit. Den Experimenten zufolge betrug die Inferenzzeit für das vorgeschlagene Modell 0,947 s, während YOLOv5 und DeepSORT einzeln 0,348 bzw. 0,599 s verbrauchten. Daher eignet sich die vorgeschlagene Methode zur Echtzeit-Detektion, -Klassifizierung und -Verfolgung von Schmutz zur Kartierung der Schmutzverteilung mithilfe eines mobilen Inspektionsroboters.

Zwei Versuchsfälle zur Validierung der Fähigkeit zur Schmutzkartierung: (a) Umgebung, die für den ersten Fall verwendet wurde, (b) Weg, den der Roboter genommen hat, um den eingekerbten Bereich im ersten Fall abzudecken, (c) Schmutzverteilungskarte für den ersten Fall, (d) Umgebung, die für den zweiten Fall verwendet wird, (e) Weg, den der Roboter genommen hat, um den eingekerbten Bereich im zweiten Fall abzudecken, (f) Schmutzverteilungskarte für den zweiten Fall.

Um die Echtzeitleistung des vorgeschlagenen Systems zu verstehen, wurden die Schmutzverteilungskarten, die die Art des Schmutzes angeben, für zwei ausgewählte Testumgebungen durch Navigieren mit dem Inspektionsroboter erstellt (Ergänzungsvideo 1). Die Testumgebungen bestanden aus zwei unterschiedlichen Bodenmustern. Beide Umgebungen hatten eine rechteckige Form mit Abmessungen von 175 x 250 cm. Die erste Testumgebung ist ein Holzboden mit einem ungleichmäßigen Muster (siehe Abb. 9a). Die zweite Testumgebung ist ein gleichmäßiger Boden mit grauer Farbe, aber einer rauen Oberfläche (siehe Abb. 9d). Für die Experimente haben wir Parameter wie Lichtverhältnisse, Kamerawinkel, Kamerastandort und Robotergeschwindigkeit sowie die Breite und Länge des Zickzack-Pfads eingestellt, um eine vollständige und effektive Abdeckung des ausgewählten Bereichs sicherzustellen. Diese Parameter wurden durch Versuch und Irrtum ermittelt und für beide Experimente konstant gehalten. Die Erkenntnisse aus dieser Sensitivitätsanalyse haben es uns ermöglicht herauszufinden, wie wir die Leistung des vorgeschlagenen Systems optimieren können. Die verfolgten Navigationspfade des Roboters in der ersten und zweiten Umgebung sind in Abb. 9b bzw. e dargestellt. Die resultierenden Schmutzverteilungskarten sind in Abb. 9c, f für die erste bzw. zweite Umgebung dargestellt.

Die resultierenden Schmutzverteilungskarten wurden dann mit der tatsächlichen Verteilung der Umgebung verglichen, um die Genauigkeit zu bewerten. Die Schmutzkarte der ersten Umgebung, in der der Boden ein ungleichmäßiges Muster aufwies, weist eine Genauigkeit von 76,7 % auf, während die Genauigkeit der Karte der zweiten Umgebung (einheitlicher Boden) 85,3 % beträgt. Der Grund für diese Variation war, dass der Kontrast des Objekts es auf dem einheitlichen grauen Boden besser sichtbar machte. Obwohl die zweite Umgebung ein einheitliches Muster aufwies, war die Oberfläche nicht glatt, was beim Navigieren zu Vibrationen am Roboter führte. Aufgrund dieser Vibration wurde in der zweiten Umgebung eine vergleichsweise längere Erkennungszeit beobachtet. Insgesamt erreichte das System eine Genauigkeit von 81,0 % bei der Identifizierung und Lokalisierung der Schmutzelemente. Es ist zu beachten, dass wir die Genauigkeit der durch unseren vorgeschlagenen Ansatz erstellten Schmutzkarten nicht mit bestehenden Methoden vergleichen konnten, die die Schmutzverteilung in die drei Kategorien Feststoff, Flüssigkeit und Fleck abbilden können, da in der Literatur derzeit keine derartigen Methoden vorhanden sind nach bestem Wissen und Gewissen. Dennoch zeigten die Ergebnisse die Wirksamkeit und Praktikabilität unseres vorgeschlagenen Ansatzes bei der genauen Kategorisierung von Schmutz und der Erstellung entsprechender Verteilungskarten, die für ein kollaboratives Reinigungssystem mit einer Reihe heterogener Roboter nützlich wären.

Auf beiden Etagen haben wir außerdem Experimente mit unterschiedlichen Lichtverhältnissen (natürliches und künstliches Licht) durchgeführt. Bei künstlicher Beleuchtung wurde die Erkennung ungenau und Objekte waren teilweise für die Kamera nicht einmal sichtbar. Dieser Leistungsabfall war auf das Glänzen des Bodens zurückzuführen. Daher wird vorgeschlagen, das System für eine höhere Genauigkeit in Situationen mit diffusem Licht einzusetzen. Während der Experimente beobachteten wir, dass ein Teil des Schmutzes erkannt wurde, wenn sie weiter entfernt waren, und unentdeckt blieb, wenn sie näher kamen. Dieses Verhalten war auf die Variation der von der Kamera wahrgenommenen Schmutzgröße zurückzuführen, wobei die Schmutzgröße im Trainingsdatensatz die Objekterkennung beeinflusste. Diese Einschränkungen können überwunden werden, indem der Trainingsdatensatz mit Schmutz unterschiedlicher Größe diversifiziert wird und eine bessere Verallgemeinerung des Modells ermöglicht wird.

Künstliche Intelligenz und Robotik spielen bei autonomen Reinigungsanwendungen eine große Rolle. Es wurden Bodenreinigungsroboter mit unterschiedlichen Reinigungsfunktionen eingeführt. Bei der Reinigung unverträglicher Schmutzarten kann ein Bodenreinigungsroboter ausfallen oder beschädigt werden. Um dieses Problem zu lösen, wurde in diesem Artikel eine visionsbasierte Methode zur Kartierung der Schmutzverteilung für einen Inspektionsroboter vorgeschlagen.

Die vorgeschlagene Methode verwendet ein Erkennungs- und Verfolgungsschema, das aus den Algorithmen YOLOv5 und DeepSORT besteht. Diese Modelle wurden darauf trainiert, Schmutzelemente der Feststoff-, Flüssigkeits- und Fleckenklassen zu erkennen, zu klassifizieren und ihre Position zu bestimmen. Die entwickelte Methode wurde in einem mobilen Roboter implementiert, um die Genauigkeit der Schmutzkartierung zu bewerten. Den experimentellen Ergebnissen zufolge können mit der entwickelten Methode Schmutzverteilungskarten mit ausreichender Genauigkeit erstellt werden. Diese Schmutzverteilungskarten könnten nützlich sein, um kollaborative Roboter mit unterschiedlichen Reinigungsfunktionen effizient zu steuern. Der Umfang dieser Arbeit beschränkt sich auf die Erstellung von Schmutzverteilungskarten mithilfe eines visionären Inspektionsroboters. Als zukünftige Arbeit erwarten wir, das System für die optimale Pfadplanung zur Führung einer Reihe von Reinigungsrobotern basierend auf diesen Schmutzverteilungskarten zu erweitern. Das Problem des Handlungsreisenden kann ein möglicher Ansatz für die optimale Wegeplanung auf Basis der Informationen der Schmutzverteilungskarten sein.

Die während der aktuellen Studie generierten und/oder analysierten Datensätze sind auf begründete Anfrage beim entsprechenden Autor erhältlich.

Faremi, FA, Ogunfowokan, AA, Olatubi, MI, Ogunlade, B. & Ajayi, OA Kenntnisse über berufliche Gefahren bei Reinigungskräften: Eine Studie über Reinigungskräfte einer nigerianischen Universität. Int. J. Gesundheitswissenschaften. Res. 4, 198–204 (2014).

Google Scholar

Lin, J.-H. et al. Putzen im 21. Jahrhundert: Die mit der jahrhundertealten Beschäftigung verbundenen Muskel-Skelett-Erkrankungen – eine Literaturübersicht. Appl. Ergon. 105, 103839. https://doi.org/10.1016/j.apergo.2022.103839 (2022).

Artikel PubMed Google Scholar

Elkmann, N., Hortig, J. & Fritzsche, M. Cleaning automation, 1253–1264 (Springer, 2009).

MATH Google Scholar

Samarakoon, SBP, Muthugala, MVJ, Le, AV & Elara, MR Htetro-infi: Ein rekonfigurierbarer Bodenreinigungsroboter mit unendlichen Morphologien. IEEE Access 8, 69816–69828 (2020).

Artikel Google Scholar

Bisht, RS, Pathak, PM & Panigrahi, SK Design und Entwicklung eines Glasfassaden-Reinigungsroboters. Mech. Mach. Theorie 168, 104585. https://doi.org/10.1016/j.mechmachtheory.2021.104585 (2022).

Artikel Google Scholar

Batista, VR & Zampirolli, FA Optimierung der Roboter-Poolreinigung mit einem genetischen Algorithmus. J. Intell. Roboter. Syst. 95, 443–458. https://doi.org/10.1007/s10846-018-0953-y (2019).

Artikel Google Scholar

Yamanaka, Y., Hitomi, T., Ito, F. & Nakamura, T. Bewertung optimaler Reinigungswerkzeuge für die Entwicklung eines Reinigungsroboters für Fett aus Lüftungskanälen. In Robotics for sustainable Future (Hrsg. Chugo, D. et al.) 348–356 (Springer, 2022).

Kapitel Google Scholar

Muthugala, MVJ, Samarakoon, SBP, Veerajagadheswar, P. & Elara, MR Gewährleistung der Flächenabdeckung und Sicherheit eines rekonfigurierbaren Treppenreinigungsroboters. IEEE Access 9, 150049–150059 (2021).

Artikel Google Scholar

CAGR von 22,7 %, Marktgröße für Reinigungsroboter soll im Jahr 2028 34,94 Milliarden US-Dollar erreichen, sagt Brandessence Market Research, abgerufen am 24. März 2022); https://www.prnewswire.com/news-releases/cagr-of-22-7-cleaning-robot-market-size-to-hit-usd-34-94-billion-in-2028--says-brandessence -Marktforschung-301509925.html.

Samarakoon, SMBP, Muthugala, MAVJ & Elara, MR Online-Planung des vollständigen Abdeckungspfads eines rekonfigurierbaren Roboters unter Verwendung des bioinspirierten neuronalen Netzwerks Glasius und des genetischen Algorithmus. Im Jahr 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5744–5751 (IEEE, 2022).

Muthugala, MVJ, Samarakoon, SBP & Elara, MR Kompromiss zwischen Flächenabdeckung und Energieverbrauch eines selbstrekonfigurierbaren Bodenreinigungsroboters basierend auf Benutzerpräferenzen. IEEE Access 8, 76267–76275 (2020).

Artikel Google Scholar

Samarakoon, SMBP, Muthugala, MAVJ, Kalimuthu, M., Chandrasekaran, SK & Elara, MR Entwurf eines rekonfigurierbaren Roboters mit größenadaptivem Pfadplaner. Im Jahr 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 157–164 (IEEE, 2022).

Prassler, E., Ritter, A., Schaeffer, C. & Fiorini, P. Eine kurze Geschichte der Reinigungsroboter. Auton. Roboter 9, 211–226 (2000).

Artikel Google Scholar

Yapici, NB, Tuglulular, T. & Basoglu, N. Bewertung der Mensch-Roboter-Interaktion zwischen Haushalten und Roboterstaubsaugern. Im Jahr 2022 IEEE Technology and Engineering Management Conference (TEMSCON EUROPE), 204–209 (IEEE, 2022).

Rizk, Y., Awad, M. & Tunstel, EW Kooperative heterogene Multirobotersysteme: Eine Umfrage. ACM-Computing. Überleben. (CSUR) 52, 1–31 (2019).

Artikel Google Scholar

Ramalingam, B. et al. Optimale selektive Bodenreinigung mithilfe von Deep-Learning-Algorithmen und rekonfigurierbarem Roboterhtetro. Wissenschaft. Rep. 12, 15938. https://doi.org/10.1038/s41598-022-19249-7 (2022).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Cebollada, S., Payá, L., Flores, M., Peidró, A. & Reinoso, O. Ein aktueller Überblick über mobile Robotikaufgaben unter Verwendung künstlicher Intelligenz und visueller Daten. Expertensystem. Appl. 167, 114195. https://doi.org/10.1016/j.eswa.2020.114195 (2021).

Artikel Google Scholar

Milinda, H. & Madhusanka, B. Methode zur Schlamm- und Schmutztrennung für Bodenreinigungsroboter. Im Jahr 2017 Moratuwa Engineering Research Conference (MERCon), 316–320 (IEEE, 2017).

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJ Ein Deep-Learning-basiertes Computer-Vision-System zur Schmutzerkennung für Bodenreinigungsroboter mit verbesserter Datenerfassung. Technologien 9, 94 (2021).

Artikel Google Scholar

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJ Ein innovatives Bildverarbeitungssystem für Bodenreinigungsroboter basierend auf yolov5. In Iberian Conference on Pattern Recognition and Image Analysis, 378–389 (Springer, 2022).

Bormann, R., Weisshardt, F., Arbeiter, G. & Fischer, J. Autonome Schmutzerkennung für die Reinigung in Büroumgebungen. Im Jahr 2013 IEEE International Conference on Robotics and Automation, 1260–1267 (IEEE, 2013).

Zhou, F., Zhao, H. & Nie, Z. Schutzhelmerkennung basierend auf yolov5. Im Jahr 2021 IEEE International Conference on Power Electronics, Computer Applications (ICPECA), 6–11 (2021).

Junior, LCM & Alfredo C. Ulson, J. Unkrauterkennung in Echtzeit mithilfe von Computer Vision und Deep Learning. Im Jahr 2021 14. IEEE International Conference on Industry Applications (INDUSCON), 1131–1137, 10.1109/INDUSCON51756.2021.9529761 (2021).

Xu, R., Lin, H., Lu, K., Cao, L. & Liu, Y. Ein Waldbranderkennungssystem basierend auf Ensemble-Lernen. Wälderhttps://doi.org/10.3390/f12020217 (2021).

Artikel Google Scholar

Yao, J. et al. Ein Echtzeit-Erkennungsalgorithmus für Kiwis-Defekte basierend auf yolov5. Elektronikhttps://doi.org/10.3390/electronics10141711 (2021).

Artikel Google Scholar

Redmon, J., Divvala, S., Girshick, R. & Farhadi, A. Sie schauen nur einmal hin: Einheitliche Objekterkennung in Echtzeit. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016).

Redmon, J. & Farhadi, A. Yolov3: Eine schrittweise Verbesserung. AdRR (2018). arxiv:1804.02767.

Goodfellow, IJ, Warde-Farley, D., Mirza, M., Courville, A. & Bengio, Y. Maxout-Netzwerke. In Proceedings of the 30th International Conference on International Conference on Machine Learning Band 28, ICML'13, III-1319-III-1327 (JMLR.org, 2013).

Wang, C. et al. Cspnet: Ein neues Rückgrat, das die Lernfähigkeit von CNN verbessern kann. AdRR (2019). Arxiv:1911.11929.

Bewley, A., Ge, Z., Ott, L., Ramos, F. & Upcroft, B. Einfache Online- und Echtzeitverfolgung. Im Jahr 2016 IEEE International Conference on Image Processing (ICIP), 3464–3468 (2016).

Kuhn, HW Die ungarische Methode für das Zuordnungsproblem. Naval Res. Logistiker. (NRL) 52, 7–21 (2010).

Artikel MATH Google Scholar

Kalman, RE Ein neuer Ansatz für lineare Filter- und Vorhersageprobleme. J. Basic Eng. 82, 35–45. https://doi.org/10.1115/1.3662552 (1960).

Artikel MathSciNet Google Scholar

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJR Ein Deep-Learning-basiertes Computer-Vision-System zur Schmutzerkennung für Bodenreinigungsroboter mit verbesserter Datenerfassung. Technologienhttps://doi.org/10.3390/technologies9040094 (2021).

Artikel Google Scholar

Yan, Z. et al. Roboterwahrnehmung statischer und dynamischer Objekte mit einer autonomen Bodenreinigungsmaschine. Intel. Serv. Roboter.https://doi.org/10.1007/s11370-020-00324-9 (2020).

Artikel Google Scholar

Xu, Y. & Goodacre, R. Zur Aufteilung von Trainings- und Validierungssätzen: Eine vergleichende Studie zu Kreuzvalidierung, Bootstrap und systematischer Stichprobe zur Schätzung der Generalisierungsleistung von überwachtem Lernen. J. Anal. Prüfen. 2, 249–262 (2018).

Artikel PubMed PubMed Central Google Scholar

Dobbin, KK & Simon, RM Optimale Aufteilung von Fällen zum Trainieren und Testen hochdimensionaler Klassifikatoren. BMC Med. Genomics 4, 31–31 (2010).

Artikel Google Scholar

Pan, SJ & Yang, Q. Eine Umfrage zum Transferlernen. IEEE Trans. Wissen. Daten-Ing. 22, 1345–1359. https://doi.org/10.1109/TKDE.2009.191 (2010).

Artikel Google Scholar

Bottou, L. Groß angelegtes maschinelles Lernen mit stochastischem Gradientenabstieg. In International Conference on Computational Statistics (2010).

Targ, S., Almeida, D. & Lyman, K. Resnet in Resnet: Verallgemeinerung von Restarchitekturen. AdRR (2016). arxiv:1603.08029.

Chiu, Y.-C., Tsai, C.-Y., Ruan, M.-D., Shen, G.-Y. & Lee, T.-T. Mobilenet-ssdv2: Ein verbessertes Objekterkennungsmodell für eingebettete Systeme. Im Jahr 2020 International Conference on System Science and Engineering (ICSSE), 1–5, 10.1109/ICSSE50014.2020.9219319 (2020).

Yang, X. et al. Fernerkundungsbilderkennung basierend auf Yolov4-Verbesserungen. IEEE Access 10, 95527–95538. https://doi.org/10.1109/ACCESS.2022.3204053 (2022).

Artikel Google Scholar

Muzammul, M. & Li,

Iyer, R., Bhensdadiya, K. & Ringe, P. Vergleich von yolov3, yolov5s und mobilenet-ssd v2 zur Echtzeit-Maskenerkennung. Artikel. Int. J. Res. Ing. Technol. 8, 1156–1160 (2021).

Google Scholar

Tan, L., Huangfu, T., Wu, L. & Chen, W. Vergleich von Yolo v3, schnellerem R-CNN und SSD für die Pillenidentifizierung in Echtzeit, 10.21203/rs.3.rs-668895/v1 ( 2021).

Ahmed, KR Intelligente Schlaglocherkennung mithilfe von Deep Learning basierend auf erweiterter Faltung. Sensorenhttps://doi.org/10.3390/s21248406 (2021).

Artikel PubMed PubMed Central Google Scholar

Referenzen herunterladen

Diese Forschung wird vom National Robotics Program im Rahmen seines National Robotics Program (NRP) BAU, Ermine III: Deployable Reconfigurable Robots, Award No. M22NBK0054 und auch von A*STAR im Rahmen seiner „RIE2025 IAF-PP Advanced ROS2-native Platform Technologies“ unterstützt „For Cross Sectorial Robotics Adoption (M21K1a0104)“-Programm.

Säule für technische Produktentwicklung, Singapore University of Technology and Design, Singapur, 487372, Singapur

Ishneet Sukhvinder Singh, ID Wijegunawardana, SM Bhagya P. Samarakoon, MA Viraj J. Muthugala und Mohan Rajesh Elara

Temasek Junior College, Singapur, 469278, Singapur

Ishneet Sukhwinder Singh

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Konzeptualisierung, SMBPS, MAVJM; Methodik, ISS und IDW; Software, ISS und IDW; Validierung, ISS und IDW; Schreiben – Originalentwurfsvorbereitung, ISS und IDW; Schreiben – Überprüfen und Bearbeiten, SMBPS, MAVJM; Aufsicht, MAVJM, MRE; Projektverwaltung, MRE; Finanzierungsakquise, MRE; Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit MA Viraj J. Muthugala.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Zusatzvideo 1.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Singh, IS, Wijegunawardana, ID, Samarakoon, SMBP et al. Visionbasierte Schmutzverteilungskartierung mittels Deep Learning. Sci Rep 13, 12741 (2023). https://doi.org/10.1038/s41598-023-38538-3

Zitat herunterladen

Eingegangen: 14. Januar 2023

Angenommen: 10. Juli 2023

Veröffentlicht: 06. August 2023

DOI: https://doi.org/10.1038/s41598-023-38538-3

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.