Synavis ist ein Open-Source, modulares Kopplungsframework zur Verbindung funktional-struktureller Pflanzenmodelle (FSPMs) mit Visualisierungs-, Annotation- und Deep-Learning-Workflows. Synavis wurde für Hochleistungsrechenumgebungen (HPC) entwickelt und ermöglicht Forschenden, großskalige synthetische Datensätze zu erzeugen, zu annotieren und zu analysieren, wobei vollständige Kontrolle über Szenenparameter und Versuchsbedingungen besteht.
Das Framework wird ausführlich im Artikel von 2023 und im zugehörigen Springer-Buchkapitel beschrieben; beide Publikationen heben insbesondere die infrastrukturellen Aspekte hervor, die für Synavis relevant sind.
Hauptmerkmale
- Vielseitiger Workflow: Integriert FSPMs, Unreal Engine (UE)-Visualisierung und Deep-Learning-Pipelines. Synavis ist domänenagnostisch und lässt sich über die Pflanzenwissenschaft hinaus anpassen.
- Skalierbarkeit: Entwickelt für verteilte HPC- und Cloud-Umgebungen. Synavis unterstützt Datenorchestrierung, dynamische Labeling-Strategien und vollständige virtuelle Weltgenerierung auf Python-Seite.
- Interaktive & automatisierte Annotation: Unterstützt automatische Annotation synthetischer Daten ebenso wie dynamische Kopplung mit Simulationen, wie jüngste Forschung zeigt (Baker et al., 2025).
- Flexible Kommunikation: Nutzt Standardprotokolle (WebRTC, JSON) für Echtzeit- oder gepufferte Datenübertragung und unterstützt direkte Callbacks sowie Integration mit Dekodierungs-Frameworks wie GStreamer.
- Lose Kopplung: Arbeitet als Vermittlungsdienst, verbindet Endpunkte (z. B. UE, ML-Frameworks) ohne enge Integration und unterstützt modulare, erweiterbare Workflows.
- Reproduzierbarkeit & Versuchssteuerung: Volle Kontrolle über Simulation, Visualisierung und Annotation gewährleistet Reproduzierbarkeit und Nachvollziehbarkeit von Experimenten.
- Open Source: Frei verfügbar mit Beispielumgebungen und Video-Beschreibungen vieler Komponenten.
Wie Synavis funktioniert
Synavis fungiert als Vermittlungsdienst zwischen FSPM-Simulationen, Unreal-Engine-Visualisierungen und Deep-Learning- bzw. Annotation-Pipelines. Die Kommunikation erfolgt über JSON-Nachrichten, und Bild- oder Videodaten werden via WebRTC gestreamt, wodurch sowohl Echtzeit- als auch gepufferte Datenübertragung für Training und Analyse möglich sind. Die Architektur unterstützt verteilte Ausführung, sodass Simulation, Rendering und Annotation auf spezialisierter Hardware (z. B. CPU-Knoten für Simulation, GPU-Knoten für Rendering/AI) laufen können.
Dieses Design ermöglicht Forschenden, massive, reproduzierbare Datensätze für maschinelles Lernen zu erzeugen und zu annotieren — mit flexibler Versuchssteuerung und Integration in automatisierte oder interaktive Workflows. Synavis eignet sich besonders für Anwendungen, die Skalierbarkeit, Reproduzierbarkeit und Flexibilität erfordern, wie in jüngsten großangelegten Studien zur Erzeugung synthetischer Daten gezeigt.
Häufig sprechen wir von Annotation, wenn wir den Prozess der Kennzeichnung von Daten meinen. In Synavis — und bei synthetischen Datenpipelines allgemein — werden die Labels jedoch in Kombination mit der Szene simuliert und sind daher weniger als klassische "Annotation" im traditionellen Sinn zu verstehen. Wir behalten den Begriff aus Gründen der Konsistenz bei.
Synavis für Pflanzenfunktionen
Wir verwenden Synavis, um eine Modellszene auf Grundlage von PAR-Pflanzeninformationen zu erstellen. Dieser Ansatz beruht stark auf Heuristiken; wie genau Pflanzen mit der Umgebung interagieren, hängt von experimenteller Validierung ab.
Unser Ansatz wurde in Baker et al., 2025 verwendet, um ein Selhausen-Experiment aus 2016 zu replizieren. Dabei wurden Wetterstationsdaten aus TERENO zur Parametrisierung der virtuellen Welt genutzt. Anschließend kartieren wir die Lichtinformationen in Form tatsächlicher CO₂-Änderungen auf die Datenszene, also die Szene, die die beschrifteten synthetischen Daten erzeugt.
Aktuelle Migrationsarbeiten
Derzeit migriere ich Synavis von PixelStreaming zu libdatachannel um eine zentrale Anforderung zu erfüllen: die dynamische Bereitstellung zusätzlicher Datenkameras in der Szene.
Momentan ist Synavis darauf beschränkt, eine feste Anzahl potenziell genutzter Datenkameras vorzureservieren, was nicht alle Einsatzszenarien abbildet. Insbesondere die Frage nach optimalen Kamerapositionen für eine gegebene Aufgabe ist offen, weshalb dynamische Kameraallokation angestrebt wird.
Der zentrale Anwendungsfall der Migration ist die Erleichterung direkter Inferenzbewertungen in virtuellen Szenen, indem Kameras situativ erzeugt werden, um Edge-Cases von KI-Inferenzmodellen zu prüfen. Dies kann das Vertrauen in Modelle deutlich erhöhen.
Ressourcen
- Synavis GitHub-Repository
- in silico Plants: Originalpublikation zu Synavis
- bioRxiv: Hochauflösende Lichtbewertung und Photosynthesemodellierung mit Synavis
- Springer: Synavis in der großangelegten Erzeugung synthetischer Daten
- Ergänzendes Video: Synavis-Übersicht
- Schritt-für-Schritt-Anleitung: Synavis mit CPlantBox und Unreal Engine