Ein neuer Algorithmus für maschinelles Lernen hat gelernt, wie man Bilder betrachtet und sie als 3D-Objekte neu erstellt


Haben Sie sich jemals gewünscht, dass ein Bild mehr Tiefe haben könnte? Forscher der Washington University (WU) in St. Louis haben einen maschinellen Lernalgorithmus entwickelt, der genau das kann.

Bildnachweis Renhao Liu et al., (2022), Natur.

Ein an der McKelvey School of Engineering der WU entwickelter Algorithmus für maschinelles Lernen kann ausgehend von flachen 2D-Bildern eine kontinuierliche 3D-Struktur erstellen. Bisher wurde das System verwendet, um Modelle menschlicher Zellen aus einer Reihe von Teilbildern zu erstellen, die mit heute üblichen Mikroskopiewerkzeugen aufgenommen wurden.

Ein solches System könnte die Leichtigkeit, mit der Forscher dreidimensionale Strukturen aus 2D-Bildern interpretieren können, erheblich verbessern, mit potenziellen Anwendungen in Bereichen, die von der Materialwissenschaft bis zur Medizin reichen.

Entflachung

„Wir trainieren das Modell auf dem Satz digitaler Bilder, um eine kontinuierliche Darstellung zu erhalten“, sagte Ulugbek Kamilov, Assistenzprofessor für Elektro- und Systemtechnik sowie Informatik und Ingenieurwesen. „Jetzt kann ich es zeigen, wie ich will. Ich kann problemlos hineinzoomen und es gibt keine Verpixelung.“

Der Algorithmus basiert auf einem neuronalen Feldnetzwerk, einer speziellen Architektur für maschinelles Lernen mit der Fähigkeit, physische Merkmale mit bestimmten räumlichen Koordinaten zu verknüpfen. Nach einer angemessenen Schulung kann ein solches System aufgefordert werden, zu interpretieren, was es an einer beliebigen Stelle in einem Bild sieht. Neuronale Feldnetzwerke wurden als Basis für den neuen Algorithmus bevorzugt, da sie im Vergleich zu anderen Arten von neuronalen Netzwerken relativ geringere Datenmengen für das Training benötigen. Sie können zuverlässig zur Analyse eines Bildes eingesetzt werden, solange genügend 2D-Proben für die Analyse bereitgestellt werden, erklärt das Team.

Für diesen speziellen Algorithmus wurde das Netzwerk unter Verwendung von Standard-Mikroskopiebildern trainiert. Sie bestanden aus optischen Aufnahmen von Zellen: Die Proben wurden von unten beleuchtet und das durch sie hindurchtretende Licht aufgezeichnet.

Diese Bilder wurden dann zusammen mit Informationen über die innere Struktur der Zelle an bestimmten Stellen der Bilder durch das Netzwerk geleitet. Aus diesen wurde das Netzwerk gebeten, die Gesamtstruktur der gezeigten Zellen nachzubilden. Dessen Output wurde dann in einem sich wiederholenden Prozess danach beurteilt, wie gut er die Realität widerspiegelte.

Sobald die Vorhersagen des Systems mit den realen Messungen übereinstimmten, wurde das Netzwerk als fertig betrachtet. An diesem Punkt wurde es gebeten, die Teile des Zellmodells auszufüllen, die nicht durch direkte Messungen im Labor erfasst werden konnten.

Das Team erklärt, dass einer der Vorteile ihres neuen Algorithmus darin besteht, dass Labore keine datendichten Bildergalerien von Zellen führen müssen, mit denen sie arbeiten, da eine vollständige Darstellung ihrer Struktur jederzeit vom Netzwerk neu erstellt werden kann . Es ermöglicht auch, das Modell auf eine Weise zu manipulieren, die ein Foto niemals zulassen könnte.

„Ich kann jede beliebige Koordinate eingeben und diese Ansicht erzeugen“, sagt Kamilov. „Oder ich generiere ganz neue Ansichten aus verschiedenen Blickwinkeln.“ Er kann das Modell verwenden, um eine Zelle wie einen Kreisel zu drehen oder für einen genaueren Blick hineinzuzoomen; Verwenden Sie das Modell, um andere numerische Aufgaben zu erledigen. oder es sogar in einen anderen Algorithmus einspeisen.“

Die Arbeit „Wiederherstellung kontinuierlicher 3D-Brechungsindexkarten aus diskreten Intensitätsmessungen unter Verwendung neuronaler Felder“ wurde veröffentlicht veröffentlicht im Tagebuch Natur-Maschinen-Intelligenz.

Kommentar verfassen

%d Bloggern gefällt das: