Obwohl die Verwendung auditiv-visueller Warnsignale weit verbreitet ist, da diese mehr Aufmerksamkeit auf sich ziehen als unimodale Signale, wurde die Semantik dieser kreuzmodalen Signale und ihrer Komponenten bislang nicht erforscht. Vor diesem Hintergrund wurde im Rahmen der vorliegenden Arbeit die Semantik von Farben und Tonhöhe untersucht, wobei ein Schwerpunkt auf deren semantischer Kongruenz sowie ihrem Ursprung lag. Aufgrund der Tatsache, dass kongruente Stimuluskombinationen durch ihre höhere Salienz mehr Aufmerksamkeit erwecken, wurde in dieser Arbeit erforscht, ob auditive Informationen kongruent zu Farben sein könnten, bzw. zunächst, ob die Dimension der Tonhöhe allein bereits eine semantische Information beinhalten könnte. Dabei lag ein Arbeitschwerpunkt nicht nur auf Untersuchungen an Erwachsenen. Die Aufmerksamkeit wurde ebenfalls auf die vorsprachliche Entwicklung von Bedeutung gerichtet, die auf eine Art Proto-Semantik in der frühen Kindheit hindeuten könnte.
Eine erste Studie mit Erwachsenen untersuchte hierbei exploratorisch Emotionen und Assoziationen zu vier Farben (Rot, Grün, Blau, Gelb) und vier Tonhöhen (Sinus-Töne 475 Hz, 700 Hz, 1500 Hz, 2500 Hz) anhand von Fragebögen.
Die Ergebnisse zeigen eine emotionale Semantik von Farben und Tönen (Gelb: Belustigung; Blau: Traurigkeit; Rot: Ärger, Angst, Liebe) sowie eine emotionale Semantik der Farbe Rot als Warnsignal. Auf einer breiten emotionalen und assoziativen Basis stellte sich weiterhin heraus, dass hohe Töne negativere Reaktionen hervorriefen als tiefe Töne (z. B. Abscheu, Angst, Unzufriedenheit). Darüber hinaus konnte erstmals eine emotionale Semantik eines Warnsignals ebenso für Tonhöhe aufgezeigt werden: Der höchste Ton wurde mit dem semantischen Feld von Gefahr assoziiert („Alarm“, „Sirene“, „Brand“ und „Unfall“). Ferner liegen erste Hinweise auf eine auditiv-visuelle Kongruenz vor: Speziell Rot (negativ) und Grün (positiv) haben sich als gegensätzlich konnotiert erwiesen, ebenso wie hohe (negativ) und tiefe (positiv) Töne. Es wurde eine zumindest teilweise deckungsgleiche emotionale Semantik von Rot und hohen Tönen sowie Grün und tiefen Tönen nachgewiesen.
Eine zweite Studienreihe prüfte anhand von drei Habituations-Studien sowie einer „Preferential Looking“-Studie mit vier Monate alten Säuglingen, ob die Wahrnehmung dieser semantischen Kongruenzen angeboren ist oder eine Prädisposition für die Bildung von semantisch kongruenten Verbindungen besteht. Des Weiteren wurde der Einfluss sozialer Signale (einer menschlichen Hand, welche die Objekte präsentierte, im Gegensatz zu einem Tablett, welches die Objekte in der nicht sozialen Bedingung bewegte) auf die Bildung einer Verknüpfung zwischen der Farbe und dem Ton geprüft.
Ein wesentlicher Befund der Säuglingsstudien ist, dass die Farbe Rot und der hohe Ton für den Aufbau einer Verbindung und Kategorie prädisponiert zu sein scheinen, wohingegen die Säuglinge keine Relation zwischen der Farbe Grün und einem tiefen Ton formten. Ein weiteres wichtiges Ergebnis verdeutlicht die Beeinflussung der Kategorienbildung „Rot/hoher Ton“ durch die Anwesenheit sozialer Signale. Dabei zeigte sich, dass im Anschluss an die Habituation genau die entgegen gesetzten Farb-Ton-Kombinationen diskriminiert wurden, wenn die farbigen Objekte von einer Hand im Gegensatz zu einem Tablett präsentiert wurden. Dieses lässt auf ein anderes Lernen oder Erinnern in An- bzw. Abwesenheit sozialer Signale schließen. Darüber hinaus ist ein drittes, bedeutsames Resultat aus der „Preferential Looking“-Studie, dass die Säuglinge kein spontanes Abstimmen von Farbe und Ton zeigten, d. h. dass sie ohne Lernphase keine Kongruenz der Farben und Töne wahrnahmen. Dieses deutet somit nicht auf eine angeborene Wahrnehmung der Kongruenz hin.
Mehrere Erklärungsansätze werden diskutiert und die Ergebnisse der Erwachsenen- und Säuglingsstudien zusammengeführt.