Gestik und Sprache sind die Eckpfeiler in der natürlichen Verständigung zwischen Menschen. Nicht von ungefähr wird ihnen daher in der Mensch-Maschine-Kommunikation erhebliche Aufmerksamkeit gewidmet. Jedoch gibt es bislang kaum Lösungsvorschläge dafür, wie die multimodalen Äußerungen eines Systemnutzers - als zeitlich gestreute Perzepte auf getrennten Kanälen registriert - in ihrem zeitlichen Zusammenhang zu rekonstruieren sind. Dieser Beitrag demonstriert erste technische Arbeiten, die rhythmische Muster für die Entwicklung kognitiv motivierter Mittlersysteme zwischen Mensch und Maschine ausnutzen.