Bildsensoren mit integrierter Signalverarbeitung - sog. "Vision Chips" - ermöglichen die Ausführung ansonsten rechenintensiver Verarbeitungsschritte während oder unmittelbar nach der Bildaufnahme. Gegenüber konventionellen CMOS-Bildsensoren, die sich vor allem durch eine gute Bildqualität auszeichnen, werden die auszugebenden Daten bereits auf dem Chip auf relevante Informationen beschränkt und lediglich extrahierte Merkmale anstelle vollständiger Bilder ausgegeben. Vision Chips ermöglichen somit eine sehr hohe Bildwiederholrate bei gleichzeitig deutlich niedrigeren Anforderungen bzgl. der Übertragungsbandbreite und sind insbesondere für die Beobachtung sehr schneller Prozesse attraktiv. Obwohl das Konzept der gemeinsamen Betrachtung von Bildaufnahme und -verarbeitung bereits in den Anfangsjahren der Halbleiter-Bildsensoren aufgegriffen wurde, können die meisten beschriebenen Sensoren als Machbarkeitsnachweise für bestimmte Pixelzellen- bzw. Bildverarbeitungstechnologien betrachtet werden. So finden sich, bis auf den in der optischen Maus eingesetzten Sensor zur Bestimmung der Verschiebung relativ zum Untergrund, nur für sehr wenige Sensoren Hinweise auf einen kommerziellen Einsatz. Neben einer geringen optischen Auflösung und einer eingeschränkten Empfindlichkeit können der Verzicht auf integrierte Steuerwerke und die erhebliche Komplexität bzgl. der Programmierung als wesentliche Hindernisse für einen breiten Einsatz genannt werden. Im Rahmen dieser Arbeit werden wesentliche Beiträge zu der zum Einsatz von Vision Chips in realen Aufgabenstellungen erforderlichen Infrastruktur geliefert. So wird zur Ansteuerung der einzelnen Funktionseinheiten (Functional Unit, FU) zunächst das Konzept eines integrierten, Multi-ASIP (Application Specific Instruction-set Processor) basierten Steuerwerks erarbeitet, das durch die Bereitstellung mehrerer Kontrollflüsse die Ansteuerung paralleler FU ermöglicht. Die praktische Umsetzung des Konzepts in Hardware erfolgt als Bestandteil eines Vision-System-on-Chip (VSoC). Dieses verfügt gegenüber dem Stand der Technik über eine höhere Auflösung sowie eine größere Empfindlichkeit und bildet die Grundlage der weiteren Betrachtungen. Eine umfangreiche Simulationsumgebung ermöglicht Untersuchungen implementierter Algorithmen sowohl hinsichtlich zeitabhängiger Effekte als auch bzgl. der Auswirkung einzelner, in Bildaufnahme- und Verarbeitung gezielt eingebrachter Fehler und Nicht-Idealitäten. Die zum Betrieb des VSoC erforderliche Entwicklungs- und Kameraplattform ist sowohl für den Einsatz unter realen Bedingungen als auch zur Entwicklung von Bildverarbeitungsaufgaben geeignet und ermöglicht dabei die transparente Nutzung der Simulationsumgebung komplementär zur eigentlichen Hardware. Zur Erschließung der vom VSoC bereitgestellten Funktionalität für tatsächliche Aufgabenstellungen erfolgt die ganzheitliche Betrachtung einer Bildverarbeitungsaufgabe bestehend aus VSoC-basierter Vor- und konventioneller Nachverarbeitung in Form sog. "Vision Tasks". Zur Vereinfachung der Implementierung werden parametrierbare Skeletons bereitgestellt, in denen generelle Abläufe zur Bildaufnahme und -verarbeitung hinterlegt werden. Basierend auf den entwickelten Konzepten werden schließlich mehrere Anwendungsbeispiele umgesetzt.

Bildsensoren mit integrierter Signalverarbeitung - sog. "Vision Chips" - ermöglichen die Ausführung ansonsten rechenintensiver Verarbeitungsschritte während oder unmittelbar nach der Bildaufnahme. Gegenüber konventionellen CMOS-Bildsensoren, die sich vor allem durch eine gute Bildqualität auszeichnen, werden die auszugebenden Daten bereits auf dem Chip auf relevante Informationen beschränkt und lediglich extrahierte Merkmale anstelle vollständiger Bilder ausgegeben. Vision Chips ermöglichen somit eine sehr hohe Bildwiederholrate bei gleichzeitig deutlich niedrigeren Anforderungen bzgl. der Übertragungsbandbreite und sind insbesondere für die Beobachtung sehr schneller Prozesse attraktiv. Obwohl das Konzept der gemeinsamen Betrachtung von Bildaufnahme und -verarbeitung bereits in den Anfangsjahren der Halbleiter-Bildsensoren aufgegriffen wurde, können die meisten beschriebenen Sensoren als Machbarkeitsnachweise für bestimmte Pixelzellen- bzw. Bildverarbeitungstechnologien betrachtet werden. So finden sich, bis auf den in der optischen Maus eingesetzten Sensor zur Bestimmung der Verschiebung relativ zum Untergrund, nur für sehr wenige Sensoren Hinweise auf einen kommerziellen Einsatz. Neben einer geringen optischen Auflösung und einer eingeschränkten Empfindlichkeit können der Verzicht auf integrierte Steuerwerke und die erhebliche Komplexität bzgl. der Programmierung als wesentliche Hindernisse für einen breiten Einsatz genannt werden. Im Rahmen dieser Arbeit werden wesentliche Beiträge zu der zum Einsatz von Vision Chips in realen Aufgabenstellungen erforderlichen Infrastruktur geliefert. So wird zur Ansteuerung der einzelnen Funktionseinheiten (Functional Unit, FU) zunächst das Konzept eines integrierten, Multi-ASIP (Application Specific Instruction-set Processor) basierten Steuerwerks erarbeitet, das durch die Bereitstellung mehrerer Kontrollflüsse die Ansteuerung paralleler FU ermöglicht. Die praktische Umsetzung des Konzepts in Hardware erfolgt als Bestandteil eines Vision-System-on-Chip (VSoC). Dieses verfügt gegenüber dem Stand der Technik über eine höhere Auflösung sowie eine größere Empfindlichkeit und bildet die Grundlage der weiteren Betrachtungen. Eine umfangreiche Simulationsumgebung ermöglicht Untersuchungen implementierter Algorithmen sowohl hinsichtlich zeitabhängiger Effekte als auch bzgl. der Auswirkung einzelner, in Bildaufnahme- und Verarbeitung gezielt eingebrachter Fehler und Nicht-Idealitäten. Die zum Betrieb des VSoC erforderliche Entwicklungs- und Kameraplattform ist sowohl für den Einsatz unter realen Bedingungen als auch zur Entwicklung von Bildverarbeitungsaufgaben geeignet und ermöglicht dabei die transparente Nutzung der Simulationsumgebung komplementär zur eigentlichen Hardware. Zur Erschließung der vom VSoC bereitgestellten Funktionalität für tatsächliche Aufgabenstellungen erfolgt die ganzheitliche Betrachtung einer Bildverarbeitungsaufgabe bestehend aus VSoC-basierter Vor- und konventioneller Nachverarbeitung in Form sog. "Vision Tasks". Zur Vereinfachung der Implementierung werden parametrierbare Skeletons bereitgestellt, in denen generelle Abläufe zur Bildaufnahme und -verarbeitung hinterlegt werden. Basierend auf den entwickelten Konzepten werden schließlich mehrere Anwendungsbeispiele umgesetzt.