Eingebettete generative KI für softwaredefinierte Fahrzeuge

Eingebettete generative KI wird durch eine Zusammenarbeit von FEV, Microsoft und NVIDIA in softwaredefinierte Fahrzeuge integriert. Das Projekt kombiniert eingebettete Small Language Models, GPU-beschleunigte Rechenleistung und multimodale Verarbeitung, um Sprach-, Text- und Gesteninteraktionen direkt im Fahrzeug für Anwendungen der Automobilindustrie zu ermöglichen.

Technische Zusammenarbeit für eingebettete KI
Die Zusammenarbeit vereint komplementäre Kompetenzen in den Bereichen Fahrzeugtechnik, künstliche Intelligenz und Hochleistungsrechnen. FEV ist für die Systemarchitektur, die KI-Integration, die Softwareentwicklung, die Validierung sowie die Fahrzeugimplementierung verantwortlich. Microsoft stellt das Small Language Model Phi-4-mini-instruct über Microsoft Foundry bereit, während NVIDIA die Rechenplattform DRIVE AGX sowie Werkzeuge zur Optimierung von KI-Modellen liefert.

Die Kooperation adressiert eine zentrale Herausforderung softwaredefinierter Fahrzeuge: die Bereitstellung zuverlässiger KI-Funktionen ohne permanente Cloud-Anbindung. Durch die lokale Ausführung der Inferenz im Fahrzeug bleiben wesentliche Funktionen auch bei eingeschränkter oder fehlender Internetverbindung verfügbar und gleichzeitig wird die Kommunikation mit der Cloud-Infrastruktur reduziert.

Architektur der eingebetteten KI und Aufgabenverteilung
Die technische Lösung basiert auf eingebetteten Small Language Models, die als modulare Softwaredienste auf der NVIDIA DRIVE AGX-Plattform ausgeführt werden. Die multimodale Architektur verarbeitet Sprache, Text und visuelle Informationen, um eine natürliche Mensch-Maschine-Interaktion zu ermöglichen.

Zur Steigerung der Effizienz für den Embedded-Einsatz hat FEV das Modell Phi-4-mini-instruct von Microsoft mit synthetisch erzeugten Datensätzen optimiert, die mithilfe von NVIDIA NeMo erstellt wurden. Das optimierte Modell wird anschließend in die Fahrzeugplattform integriert, wobei die GPU-Beschleunigung eine Inferenz mit geringer Latenz innerhalb der begrenzten Ressourcen eines Fahrzeugs ermöglicht.

Das eingebettete Sprachmodell ergänzt cloudbasierte Large Language Models durch lokale Backup-Intelligenz. Diese Architektur ermöglicht es Fahrzeugherstellern, KI-Arbeitslasten abhängig von Leistungsanforderungen, Konnektivität und betrieblichen Anforderungen zwischen Fahrzeug und Cloud zu verteilen.

Implementierung in softwaredefinierten Fahrzeugen
Die Plattform wurde in Demonstrationsfahrzeugen implementiert, um den Echtzeitbetrieb unter praxisnahen Bedingungen zu validieren. Eine Demonstration zur Dashboard-Konfiguration ermöglicht es den Nutzern, Fahrzeugfunktionen wie Armaturenbrettlayouts und Fahrerprofile per natürlichem Sprachbefehl anzupassen, ohne auf eine permanente Internetverbindung angewiesen zu sein.

Die eingebettete Plattform ist für die Integration in bestehende Fahrzeugelektronik ausgelegt und unterstützt die schrittweise Einführung lokal ausgeführter KI-Funktionen parallel zu cloudbasierten Diensten. Die Validierungsergebnisse bilden die Grundlage für zukünftige Kundenprojekte und seriennahe Fahrzeuganwendungen.

Anwendungsbereiche in der Automobilindustrie
Die Zusammenarbeit richtet sich auf verschiedene Anwendungen, darunter automatisiertes Fahren nach SAE-Level 3 bis 5, Fahrer- und Insassenüberwachung sowie die personalisierte Konfiguration von Mensch-Maschine-Schnittstellen.

Eingebettete generative KI kann die Objekterkennung, die Interpretation von Verkehrssituationen und die Fahrwegplanung in komplexen Fahrszenarien verbessern. Die lokale Verarbeitung unterstützt außerdem die Erkennung von Müdigkeit und Ablenkung und gewährleistet die Verfügbarkeit sicherheitsrelevanter Funktionen auch bei Verbindungsunterbrechungen. Die sprachgesteuerte Personalisierung ermöglicht eine schnelle Anpassung von Benutzerprofilen und Fahrzeugschnittstellen ohne Abhängigkeit von externen Servern.

Ergebnisse und erwartete Auswirkungen
Die lokale Ausführung der KI-Inferenz im Fahrzeug verbessert die Reaktionszeiten und erhöht die Betriebssicherheit, während gleichzeitig die Abhängigkeit von Cloud-Infrastrukturen reduziert wird. Die Kombination aus eingebetteten Small Language Models und cloudbasierter KI schafft eine skalierbare Architektur, die Rechenleistung, Konnektivitätsanforderungen und Infrastrukturkosten für zukünftige digitale Mobilitätsplattformen in Einklang bringt.

Bearbeitet von Evgeny Churilov, Induportals Media – Mit Unterstützung von KI adaptiert.

www.fev.com