Smart Human-in-the-loop Segmentation

Bioimaging-Methoden ermöglichen einen tieferen Einblick in die molekularen und zellulären Prozesse des menschlichen Körpers als je zuvor. Das Verfahren des Identifizierens und Nachweisens der Grenzen bestimmter Interessensbereiche wie Einzelzellen in der mikroskopischen Bildgebung wird Segmentierung genannt. In den letzten Jahren konnte die Bildsegmentierung mit Deep Learning in der biomedizinischen Forschung große Erfolge feiern. Der Algorithmus lernt in der Regel durch eine große Menge „ground truth“, Trainingsdaten, die von Menschen annotiert wurden. Für dieses überwachte Lernverfahren müssen Forschende eine große Datenmenge markieren. Obwohl nicht überwachte Verfahren zum Trainieren von Deep-Learning-Modellen ohne menschliche Annotation existieren, ist deren Leistung oft ungenauer als die von überwachten Verfahren und somit nicht ausreichend für die biomedizinische Forschung. Darum ist es das Ziel der Forschenden, die am Projekt »Smart Human-in-the-loop Segmentation« arbeiten, ein leistungsstarkes Deep-Learning-Modell zu entwickeln, das mit minimaler menschlicher Arbeit auskommt.

Ein Workflow mit Open Source Deep Learning ermöglicht eine effizientere Bildsegmentierung

Das Gesamtverfahren generalisiert den iterativen Deep-Learning-Workflow des Allen Cell and Structure Segmenter und entwickelt ihn weiter. Der erwähnte Segmentierer ist ein Toolkit für die 3D-Segmentierung von intrazellulären Strukturen in Fluoreszenzmikroskopiebildern, das von Dr. Jianxu Chen und dem Allen Institute for Cell Science entwickelt wurde. Der erste Schritt der »Smart Human-in-the-loop Segmentation« ist die Entwicklung von effektiven Strategien zum automatischen Auswählen repräsentativer Proben für die anfängliche Kuration oder Annotation basierend auf der bisherigen Arbeit des Teams an suggestiver Annotation, einem Deep-Active-Learning-Framework, das ein vollständig konvolutionales Netzwerk mit aktivem Lernen kombiniert. Als Nächstes werden einige Proben für eine grobe manuelle Annotation durch die Forschenden ausgewählt. Diese werden für das anfängliche Training des Algorithmus für die Segmentierung von Bildern, der anschließend auf alle Bilder in dem Datensatz angewandt wird, verwendet. Danach werden einige Bilder manuell geprüft und zum Trainieren des Algorithmus in den Workflow eingebracht.

Für jede Iteration entwickeln die Forschenden Verfahren, um es dem Deep-Learning-Modell zu ermöglichen, potenzielle Fehler automatisch zu identifizieren und eine menschliche Kuration einzuleiten. Schließlich werden effektive aktive Lernmethoden und kontinuierliche Lernmethoden entwickelt, um das sogenannte katastrophale Vergessen zu verhindern. Dies ist der drastische Verlust von zuvor erlernten Informationen nach dem Erlernen einer neuen Aufgabe im iterativen Deep-Learning-Workflow. Dies ermöglicht eine genaue Bildsegmentierung ohne viel menschliches Eingreifen. Langfristig soll der entwickelte Algorithmus als Open-Source-Software mit grafischem Nutzeroberflächentool für die breitere biomedizinische Bildanalyse bereitgestellt werden.