Artificial Synesthesia: Re-Vision

Bowei Xiao bei Prof. Frank Jacob (Entwurf) und Prof. Dr. Annika Frye (Theorie)

Juli / July - 2018

Muthesius Kunsthochschule Kiel

Was ist es?

Zur Erweiterung des Horizonts der menschlichen Wahrnehmungen wird ein neuartiges Kopfgerät gestaltet und entwickelt, um das visuelle Informationen zu sammeln, und in eine reine taktile Sprache darstellt werden.

Was ist das Thema?

Die Synästhesie bezeichnet hauptsächlich die Kopplung zweier oder mehrerer physisch getrennter Modalitäten der Wahrnehmung. Wie das Hören der Farben, das Schmecken der Form von Alphabeten und das Sehen von Farben der Musik sind Wahrnehmungen, die es in der objektive Welt nicht gibt. Aber die Synästhesie bringt uns eine allgemeine Vorstellung davon, wie ein Sinn auf andere Sinne übertragen werden kann. Daher ist "künstliche Synästhesie" so konzipiert, dass Menschen, die keine synästhetischen Erfahrungen haben, die Möglichkeit erhalten, eine gemeinsame Wahrnehmung durch menschliches Intervention zu erfahren, um so die Informationen zu entdecken, die die Menschen mit natürlichen Organen nicht wahrnehmen konnten.

Warum sieht es so aus?

Die Vision des Menschen beinhaltet komplexere neuronale Mechanismen und sammelt deutlich mehr Informationen als die anderen Sinne, ich versuche, visuelle Informationen mit künstlichen Mitteln in taktile Sprache zu übersetzen. Die erfolgreiche sensorische Substitution beweist, dass die Informationen, die von den natürlichen Sinnesorganen empfangen werden, durch manuelle Eingriffe in anderer Form wahrgenommen werden können. Die Menschen ihre eigene Vorstellungskraft nutzen, um die subjektive Welt zu verstehen, und schließlich mittels maschineller Kognition und künstlicher Intelligenz, um die sensorischen Fähigkeiten zu verbessern, sind hauptsächlich Überlegungen zu meiner These.

Was ist das Besondere?

Die Formen, Farben usw., die subjektive Beschreibung von Objekten, sind eigentlich eine Wahrnehmungssprache unseres Gehirns, es gibt keinen natürlichen Zusammenhang zwischen den Wahrnehmungen des Menschen und der Realität der Objekte. Im Vergleich zu den bisherigen Arbeiten zur sensorischen Substitution konzentrierten sich die Wissenschaftler vor allem darauf, "echte" Informationen von einer wahrnehmbaren Modalität zur anderen zu vermitteln, die schwierig zu übertragen sind und eine extrem langfristige Ausbildung erfordern, um diese Informationen zu verstehen. So konzentriere ich mich in dieser Arbeit auf die Erfindung einer haptischen "Sprache", um unsere visuelle Wahrnehmung auf eine ganz andere Weise darzustellen. Ein Prototyp wurde erstellt, um die taktile "Sprache" zu simulieren. Sie bestand aus zwei Teilen: 1, Das System basiert auf einer Kinect Kamera, um die visuelle Date zu erfassen. 2, Elf Hubmagnete, die in einer Reihe am Ringgehäuse montiert sind und an der Stirn befestigt werden können, um taktile Reize zu simulieren.

Was ist neu?

Der Empfang von visueller Informationen wird basiert auf der Drehung des Kopfes. Wenn sich der Kopf nicht mehr in Richtung des Ziels bewegt, werden die Reize auch von der Stirnmitte zur Seite übertragen, und wenn sich der Benutzer bewegt, kann die Änderung der Reize intuitiv die räumliche Position des Ziels angezeigt werden. Nach längerem Training können subtile Variationen der Signalintensität sogar Unterschiede in der Form verschiedener Objekte anzeigen. Mit dieser Funktion können Höhe und Größe des Ziels auch durch unterschiedliche Variationen der Signalintensitäten bestimmt werden.