Zum Inhalt springen

Bioimaging-Methoden ermöglichen einen tieferen Einblick in die molekularen und zellulären Prozesse des menschlichen Körpers als je zuvor. Das Verfahren des Identifizierens und Nachweisens der Grenzen bestimmter Interessensbereiche wie Einzelzellen in der mikroskopischen Bildgebung wird Segmentierung genannt. In den letzten Jahren konnte die Bildsegmentierung mit Deep Learning in der biomedizinischen Forschung große Erfolge feiern. Der Algorithmus lernt in der Regel durch eine große Menge „ground truth“, Trainingsdaten, die von Menschen annotiert wurden. Für dieses überwachte Lernverfahren müssen Forschende eine große Datenmenge markieren. Obwohl nicht überwachte Verfahren zum Trainieren von Deep-Learning-Modellen ohne menschliche Annotation existieren, ist deren Leistung oft ungenauer als die von überwachten Verfahren und somit nicht ausreichend für die biomedizinische Forschung. Darum ist es das Ziel der Forschenden, die am Projekt »Smart Human-in-the-loop Segmentation« arbeiten, ein leistungsstarkes Deep-Learning-Modell zu entwickeln, das mit minimaler menschlicher Arbeit auskommt.

Ein Workflow mit Open Source Deep Learning ermöglicht eine effizientere Bildsegmentierung

Das Gesamtverfahren generalisiert den iterativen Deep-Learning-Workflow des Allen Cell and Structure Segmenter und entwickelt ihn weiter. Der erwähnte Segmentierer ist ein Toolkit für die 3D-Segmentierung von intrazellulären Strukturen in Fluoreszenzmikroskopiebildern, das von Dr. Jianxu Chen und dem Allen Institute for Cell Science entwickelt wurde. Der erste Schritt der »Smart Human-in-the-loop Segmentation« ist die Entwicklung von effektiven Strategien zum automatischen Auswählen repräsentativer Proben für die anfängliche Kuration oder Annotation basierend auf der bisherigen Arbeit des Teams an suggestiver Annotation, einem Deep-Active-Learning-Framework, das ein vollständig konvolutionales Netzwerk mit aktivem Lernen kombiniert. Als Nächstes werden einige Proben für eine grobe manuelle Annotation durch die Forschenden ausgewählt. Diese werden für das anfängliche Training des Algorithmus für die Segmentierung von Bildern, der anschließend auf alle Bilder in dem Datensatz angewandt wird, verwendet. Danach werden einige Bilder manuell geprüft und zum Trainieren des Algorithmus in den Workflow eingebracht.

Übersicht des Human-in-the- Loop- Segmentierungsworkflows für die automatisierte Analyse des Volumens von B-Zell- Follikeln und der T-Zell-Zone in einem Peyer-Plaque, einer Gruppe aus Lymphfollikeln in der Schleimhautmembran des Dünndarms. Die Bilder auf der linken Seite sind die Rohbilder der Lichtblattfluoreszenzmikrosko pie und die auf der rechten Seite sind die Bilder nach der Segmentierung.

© ISAS / Jianxu Chen

Für jede Iteration entwickeln die Forschenden Verfahren, um es dem Deep-Learning-Modell zu ermöglichen, potenzielle Fehler automatisch zu identifizieren und eine menschliche Kuration einzuleiten. Schließlich werden effektive aktive Lernmethoden und kontinuierliche Lernmethoden entwickelt, um das sogenannte katastrophale Vergessen zu verhindern. Dies ist der drastische Verlust von zuvor erlernten Informationen nach dem Erlernen einer neuen Aufgabe im iterativen Deep-Learning-Workflow. Dies ermöglicht eine genaue Bildsegmentierung ohne viel menschliches Eingreifen. Langfristig soll der entwickelte Algorithmus als Open-Source-Software mit grafischem Nutzeroberflächentool für die breitere biomedizinische Bildanalyse bereitgestellt werden.

Teilen

Ausgewählte Publikationen

Biomedizinische Technik / Biomedical engineering, Bd. 70, Nr. 1, 2024, S. 71-90

Li J, Zhou Z, Yang J, Pepe A, Gsaxner C, Luijten G, Qu C, Zhang T, Chen X, Li W, Wodzinski M, Friedrich P, Xie K, Jin Y, Ambigapathy N, Nasca E,…

MedShapeNet - a large-scale dataset of 3D medical shapes for computer vision.

https://doi.org/10.1515/bmt-2024-0396

Biological Imaging, Bd. 4, 2024, S. e16

Zhou Y, Sollmann J, Chen J.

Deep-learning-based image compression for microscopy images: An empirical study

https://doi.org/10.1017/S2633903X24000151

JMIR Serious Games, Bd. 12, 2024, S. e52785

Egger J, Gsaxner C, Luijten G, Chen J, Chen X, Bian J, Kleesiek J, Puladi B.

Is the Apple Vision Pro the Ultimate Display? A First Perspective and Survey on Entering the Wonderland of Precision Medicine

https://doi.org/10.2196/52785

Nature Methods, Bd. 21, Nr. 8, 2024, S. 1390-1393

Zhang S, Dai G, Huang T, Chen J.

Multimodal large language models for bioimage analysis

https://doi.org/10.1038/s41592-024-02334-2

Journal of Imaging Informatics in Medicine, 2024

Krieger K, Egger J, Kleesiek J, Gunzer M, Chen J.

Multisensory Extended Reality Applications Offer Benefits for Volumetric Biomedical Image Analysis in Research and Medicine

https://doi.org/10.1007/s10278-024-01094-x

2024 IEEE International Symposium on Biomedical Imaging (ISBI), 2024

Zhou Y, Zhao S, Sonneck J, Chen J.

2D Label-Free Prediction of Multiple Organelles Across Different Transmitted-Light Microscopy Images with Bag-of-Experts

https://doi.org/10.1109/ISBI56570.2024.10635298

2024 IEEE International Symposium on Biomedical Imaging (ISBI), 2024

Yao J, Hagemann N, Xiong Q, Chen J, Hermann DM, Chen C.

Topological Analysis of Mouse Brain Vasculature via 3d Light-Sheet Microscopy Images

https://doi.org/10.1109/ISBI56570.2024.10635226

Nature Cardiovascular Research, Bd. 3, Nr. 5, 2024, S. 525-540

Tuz AA, Ghosh S, Karsch L, Ttoouli D, Sata SP, Ulusoy ?, Kraus A, Hoerenbaum N, Wolf J, Lohmann S, Zwirnlein F, Kaygusuz V, Lakovic V, Tummes H, Beer…

Stroke and myocardial infarction induce neutrophil extracellular trap release disrupting lymphoid organ structure and immunoglobulin secretion

https://doi.org/10.1038/s44161-024-00462-8

Nature Methods, Bd. 21, Nr. 2, 2024, S. 182-194

Reinke A, Tizabi MD, Baumgartner M, Eisenmann M, Heckmann-Nötzel D, Kavur AE, Rädsch T, Sudre CH, Acion L, Antonelli M, Arbel T, Bakas S, Benis A,…

Understanding metric-related pitfalls in image analysis validation

https://doi.org/10.1038/s41592-023-02150-0

GigaScience, 2024

Sonneck J, Zhou Y, Chen J.

MMV_Im2Im: an open-source microscopy machine vision toolbox for image-to-image transformation

https://doi.org/10.1093/gigascience/giad120

Nature Methods, Bd. 21, Nr. 3, 2024, S. 368-369

Zhou Y, Cao J, Sonneck J, Banerjee S, Dörr S, Grüneboom A, Lorenz K, Zhang S, Chen J.

EfficientBioAI: making bioimaging AI models efficient in energy and latency

https://doi.org/10.1038/s41592-024-02167-z

Nature Communications, Bd. 14, 2023, S. 1-13

Cibir Z, Hassel J, Sonneck J, Kowitz L, Beer A, Kraus A, Hallekamp G, Rosenkranz M, Raffelberg P, Olfen S, Smilowski K, Burkard R, Helfrich I, Tuz…

ComplexEye:a multi-lens array microscope for high-throughput embedded immune cell migration analysis

https://doi.org/10.1038/s41467-023-43765-3

Nature Machine Intelligence, Bd. 5, 2023, S. 687-698

Jia Z, Chen J, Xu X, Kheir J, Hu J, Xiao H, Peng S, Hu X, Chen D, Shi Y.

The importance of resource awareness in artificial intelligence for healthcare

https://doi.org/10.1038/s42256-023-00670-0

Nature Methods, Bd. 20, 2023, S. 968-970

Chen J, Viana M, Rafelski S.

When seeing is not believing: application-appropriate validation matters for quantitative bioimage analysis

https://doi.org/10.1038/s41592-023-01881-4

Cell Reports Methods, Bd. 3, Nr. 3, 2023, S. 100436

Spangenberg P, Hagemann N, Squire A, Förster N, Krauß SD, Qi Y, Mohamud Yusuf A, Wang J, Grüneboom A, Kowitz L, Korste S, Totzeck M, Cibir Z, Tuz AA,…

Rapid and fully automated blood vasculature analysis in 3D light-sheet image volumes of different organs

https://doi.org/10.1016/j.crmeth.2023.100436

IEEE Transactions on Medical Imaging, Bd. 41, Nr. 10, 2022, S. 2582-2597

Liang P, Zhang Y, Ding Y, Chen J, Madukoma CS, Weninger T, Shrout JD, Chen DZ.

H-EMD: A Hierarchical Earth Mover's Distance Method for Instance Segmentation

https://doi.org/10.1109/TMI.2022.3169449

Immunological Reviews, Bd. 306, Nr. 1, 2021, S. 293-303

Grüneboom A, Aust O, Cibir Z, Weber F, Hermann DM, Gunzer M.

Imaging innate immunity

https://doi.org/10.1111/imr.13048

Weitere Projekte

Qualität in der Bioimage SEGmentierung (QBSEG)

Um biomedizinisch Forschenden hochwertige Mikroskopie-Bildanalysesoftware mit maßgeschneiderten Lösungen zur Verfügung zu stellen, entwickeln die KI-Expert:innen am ISAS bei diesem von der Deutschen Forschungsgemeinschaft geförderten Projekt »QBSEG« die Open-Source-Software »Allen Cell and Structure Segmenter« weiter.

Degeneration des Knochens durch Entzündung – DIONE

Was das Immunsystem mit Knochenbrüchen zu tun hat und weshalb Autoimmunerkrankungen sich negativ auf das Skelett auswirken können, untersuchen Forschende im von der Deutschen Forschungsgemeinschaft geförderten Sonderforschungsbereich.

KI-assistierte Bildgebung von großen Geweben

Ziel des Projekts ist es, aus ein und derselben Probe mehr Informationen über die zelluläre Zusammensetzung und die funktionellen Wechselwirkungen zu erzielen.

Synthese, Struktur & biologische Effekte von ultrakleinen (1-2 nm) bimetallischen Silber-Platin-Nanopartikeln

Im Projekt »Synthese, Struktur und biologische Effekte von ultrakleinen (1-2 nm) bimetallischen Silber-Platin-Nanopartikeln« untersuchen Forschende am ISAS Nanopartikel auf ihre antimikrobielle Aktivität.

TRR 332 – Neutrophils: Origin, Fate & Function (Neutrophile: Ursprung, Schicksal & Funktion)

Am ISAS untersuchen Wissenschaftler:innen im Teilprojekt »Phagocytic crosstalk between neutrophils and macrophages«, wie Immunzellen der Art der Phagozyten – im speziellen neutrophile Granulozyten und Makrophagen – miteinander kommunizieren.

Zell-Tracking in Mikroskopieaufnahmen

Das Forschungsprojekt »Zell-Tracking in Mikroskopieaufnahmen« will neue, anspruchsvolle Algorithmen für den Zellnachweis und das Zell-Tracking entwickeln, um einige der schwierigsten Tracking-Probleme zu adressieren.