Im Rahmen unseres Interaction Design Studiums besuchen wir das Modul Interaction in Physical Environments. In diesem Modul geht es um non-visuelle Interaktion im öffentlichen Raum. Jede Gruppe erhielt einen vorgegebenen Ort und Vibrationsboxen, die das akkustische und taktile Feedback auslösen. Unser Team besteht aus den drei Studenten Christoph Brandin, Michael Fretz und Dondup Shelkar. Als Ort unseres Projektes wählten wir die Tramhaltestelle.

Die Tramhaltestelle bietete für uns einige sehr interessante Aspekte. Wer oft Öffentliche Verkehrsmittel in einer Stadt wie Zürich verwendet, wird sich zwangsläufig an einer Tramhaltestelle aufhalten müssen. Die Tramhaltestelle ist im Grunde ein Ort, wo man sich nicht explizit aufhalten möchte. Dennoch müssen wir dort auf Busse oder Trams wartend unsere Zeit verbringen, um von einem Ort zum nächsten zu gelangen. Um die Wartezeit zu verkürzen fangen wir an Musik zu hören, Zeitungen zu lesen, Textnachrichten per Handy zu senden und beschäftigen uns mit etweiligen Dingen, nur nicht mit der Tramstation selbst.

Dieses seltsame aber interessante Verhältnis zwischen Wartenden und “Wartestelle” veranlasste uns in einer ersten Researchphase direkt vor Ort zu gehen und Mensch und Umgebung genauer zu analysieren.

2.0 Research — “look how people do / what they do”

Wir haben verschiedene Tramstationen in Zürich zu unterschiedlichsten Tageszeiten besucht. Von der stark frequentierten Tramhaltestelle an der Bahnhofstrasse bis hin zur kaum benutzen Haltestellen. An jeder Tramstation analysierten wir die Menschen, deren Bewegung und Verhalten während der Wartezeiten. Mit Hilfe von Skizzen, Videos, Fotos und Musikaufnahmen hielten wir die Fakten fest.

Zusammenschnitt aus der Video-Analyse verschiedener Tramhaltestellen.

Durch die Tonaufnahmen an verschiedenen Tramhaltestellen, konnten wir ein sich wiederholendes Muster feststellen. Diese haben anhand der Lautstärke und der Vibration visualisiert:

Die Analyse verhalf uns die Tramstation, auf der wir tagtäglich warteten, bewusster wahrzunehmen. Die grosse Masse an Informationen haben wir ausgewertet, gefiltert und auf eine Konklusion reduziert:

- Die Tramstation dient für den Grossteil der Menschen lediglich als Verbindungspunkt von einem Startpunkt und dem gewünschten Ziel. z.B. von zu Hause zur Arbeit.
- Die Wartephase ist sehr passiv. Wartende beschäftigen sich mit einer eigenen Tätigkeit. z.B. Musik hören, lesen, telefonieren. Kontakt mit anderen Wartenden ist kaum existent (ausser man kennt sich bereits).
- Menschen an der Tramhaltestelle bewegen sich sehr wenig. Sie laufen an einen bestimmten Ort und bleiben dort stehen bis das Tram / der Bus kommt.
- Die Einfahrt eines Trams unterbricht alle Menschen in ihrer Tätigkeit und hat einen erlösenden Symbolik.

2.1 Research | Welche Anwendungen existieren bereits?

Während unserer Analysen vor Ort haben wir auch nach bereits existierenden Anwendungsformen von tactile floors gesucht. Es liess sich früh feststellen, dass diese Form von Interaktion noch wenig verbreitet ist. Aus Komplexitätsgründen, und bestimmt auch kostenbedingt, beschränkt man sich oft nur auf visuelle Darstellungen.

Wir konnten dennoch einige interessante Beispiele von sonic und tactile interactions finden, die uns für unser Projekt inspirieren konnten:
Natural Interactive Walking von der McGill University, Quebec (CA)

Ada – intelligent space von der ETH und Universität Zürich (CH)

Sonic Floor von Daito Manabe und Motoi Ishibashi (JP)

3.0 Konzept

Nach einem ersten Brainstorming mit vielen verschiedenen Ideen mussten wir einen Grundsatzentscheid fällen. Soll unser Projekt eher funktional oder unterhaltend sein? Beide Varianten waren für uns interessant gewesen. Doch haben wir uns letztlich für eine unterhaltende, zusammenführende Installation entschieden, da unserere Recherchen einige mögliche Projekte aufgezeigt hatten.

Die Grundidee war es, an der Tramhaltestelle den kompletten Boden mit Vibrationsplatten und Drucksensoren auszulegen. Der Boden wird interaktiv und reagiert je nach Druckstärke mit Akkustik und Vibration. Durch die Vernetzung der einzelnen Platten entsteht gleichzeitig eine Gewebe aus interaktiven Feldern. Dies ermöglicht es einzelne Vibrationsplatten, respektive die Personen die sich darauf befinden, miteinander zu kommunizieren.

Menschen unterhalten und verbinden – ein Szenario

Durch die Vernetzung der Vibrationsplatten wird beim Betreten der Tramhaltestelle eine leichte Vibration der aktuellen Platte ausgelöst. Der Boden macht auf sich Aufmerksam. Der Besucher ist zuerst verwirrt, dann neugierig und tastet mit den Füssen den Boden ab. Der Druck auf die Bodenplatten wird dadurch verändert, was über die Drucksensoren aufgenommen wird. Die Akkustik und die Vibration des Bodens ändert sich leicht. Der Besucher findet spielerisch heraus, dass Vibration und Akkustik im direkten Zusammenhang mit dem Druck auf die Bodenplatte stehen. Er versucht den Druck zu erhöhen und stellt fest, dass dadurch auch die danebenliegenden Platten vibrieren und klingen. Er beginnt zu hüpfen und bemerkt, wie seine Bewegung eine akkustische und haptische Welle durch die Haltestelle auslöst. Andere wartende Menschen werden von der leichten Welle erfasst und beginnen nun ihrerseits mit den Platten zu experimentieren. Es entsteht eine non-visuelle Kommunikation zwischen unbekannten, wartenden Tramgästen. Sobald das erwartete Tram ankommt, beginnen die Platten gleichmässig rhytmisch zu vibrieren und symbolisieren mit einem unterstützenden Ton das Ende der Wartezeit.

Interaktionskonzept

Interaktionen unserer Installation geschehen sehr intuitiv. Anfangs besteht eine kaum bemerkbare Grundvibration, die den Benutzer auf eine mögliche Interaktion Aufmerksam machen soll. Durch Druckverstärkung oder Gewichtsverlagerung einer Platte wird ein direktes Feedback in Form von Akkustik und Vibration ausgelöst. Benutzer können durch Stärke des Drucks die Intensität der Vibration und durch die Position des Drucks die Richtung der Vibration steuern. Ausserdem lassen sich durch bestimmte Muster oder Wiederholungen besondere Klänge und Vibrationen auslösen.

4.0 Prototyp

Holzkonstruktion

Als Testkonstruktion wählten wir eine Holzplatte und montierten darunter die Vibrationsboxen. Die Holzplatte wurde dann auf einen Sockel gelegt damit diese ein wenig abgehoben ist. Die Idee war, an allen Ecken Drucksensoren zu montieren damit während dem stehen auf der Platte Interaktionen ausgelöst werden konnten. Die ersten Versuche mit einer solchen Konstruktion sahen sehr vielversprechend aus. Wir beschlossen deshalb diese Idee weiter zu verfolgen.

Feedback

Vibration

Wir begannen mit verschiedenen Soundexperimenten. Je nach Soundhöhe, Frequenz und Lautstärke konnten wir unterschiedliche Effekte erzeugen. Wir suchten Sinusfrequenzen welche eine grosse Vibration verursachten, aber kaum hörbar sind.

Sound

Zusätzlich zu den Vibrationsboxen stellten wir zu jeder Platte je eine Hifibox für das Soundfeedback — im Endzustand sollten diese natürlich auch unter der Platte angebracht werden. Der Sound sollte für uns folgende Kriterien erfüllen: zur Aktion passend, je nach Druck unterschiedliche Lautstärke und auf keinen Fall zu aufdringlich. Trotzdem sollten diese eine Art Druckwelle wiederspiegeln und so den Vibrationsimpulsen Emotionen verleihen. Ganz im Kontrast dazu der Sound beim Einfahren eines Trams. Hier versuchten wir uns ganz traditionell in Richtung sanfter Signaltöne. Bei der Produktion der Sounds ließen wir im Hintergrund immer die von uns aufgenomme Gräuschkulisse verschiedener Tramstatioenn laufen — so konnten wir einschätzen ob z.B. unser Signalton bei Trameinfahrt überhaupt gehört werden würde.

Hier eine kleine Soundauswahl:

PulseOut — Ton für das Erzeugen einer Vibrationswelle durch Druck mit den Füssen

PulseIn — Vibrationswelle (Impuls) kommt bei einer anderen Platte an. DIe Lautstärke ist dabei abhängig vom jeweiligen Druck des Senderimpulses

Tram — Beim Einfahren der Tram wird zur Information aller Wartenden ein Signal- /Informationssound abgespielt. Alle Platten vibrieren dazu kurz stark und der Pulse Modus wird für die Dauer des Tramhaltes abgeschaltet.

Bei unseren Testuser waren sich alle einer Meinung: “Der Sound passt gut zu dem was man tut.”

Elektronik und Programmierung

Die ganze Steuerung der Vibrationsboxen und Drucksensoren haben wir über Arduino und MaxMSP gelöst. Für die ersten Versuche nahmen wir ein normales Arduino. In einem späteren Zeitpunkt setzten wir dann aber auf ein Bluetooth Arduino.

Nachdem die ersten Versuche erfolgreich waren bildeten wir die definitiven Prototypen. Diese bestanden aus drei Quardatischen Holplatten. An den Ecken waren jeweils Drucksensoren montiert. So konnte man Audio- und Vibrationssignale von einer zur nächsten Platte senden. Wir erstellten nur drei Platte weil wir mit unserem Prototpen den Effekt aufzeigen wollten. Wenn der Prototyp mit drei Platten funktioniert dann wird der Effekt mit ca. 64 Platten gewaltig sein. Die Tests mit den drei Platten waren erfolgreich. Viele Testpersonen hatten Spass mit dem versenden von Vibrationen und Sounds. Wir waren erstaunt, dass ein nicht visueller Ansatz eine solch gute Erkennbarkeit auslösen konnte.

Um die fertigen Prototyp-Platten zu steuern, benutzen wir Arduinos in der Bluetooth–Variante. Leider stellte sich heraus das diese noch sehr fehleranfällig waren und so verloren wir eine grosser Teil der Zeit mit Verbindungsversuche. Die Bluetoothvariante haben wir eingesetzt, da wir im finalen Prototyp eine grösssere Distanz zum Computer zurück legen mussten.

Nachdem die Platten untereinander funktionierten haben wir mit der der Feinabstimmung der Sounds begonnen. Uns war wichtig das die Sounds nich störend wirkten aber dennoch das Gefühl einer Welle vermitteln konnten.

5.0 Endpräsentation

Die Präsentation unseres Prototypen konnten wir nicht wie gewünscht an der Tramhaltestelle halten. Zum einen fehlte uns die gewünschte Stromversorgung, zum anderen war die Zeit um lange Distanzen zwischen den einzelnen Präsentationen zu überbrücken nicht vorhanden. Aus diesem Grund wurden alle Projekte im Gang des Hauptgebäudes ausgestellt und präsentiert. Die Reaktionen waren spannend anzusehen als verschiedene Personen unser Projekt getestet haben. Obwohl es sich um eine nicht visuelle Arbeit handelte, haben fast alle Tester in die Richtung geschaut wo sie die Vibration hingesendet haben. Man spührte woher ein Signal kam und wohin es ging. Wir sind mit den Ergebnissen sehr zufrieden, würden uns aber bei einer Weiterentwicklung oder weiteren Projekten dieser Art mehr Zeit wünschen. Weiter wäre es sehr interessant zu sehen was passiert wenn wir mehr als drei Platten einsetzen würden und wie sich diese dann auch im öffentlichen Raum integrieren würden.

complex – die moderne Art, Informationen und Events vom Computer zu visualisieren. Tauchen auch Sie ein, in eine neue Welt voller Farben…

Fabian Kuhn und Michael Fretz entwickelten eine Art Ambilight mit Echtzeitfeedback von Ereignissen welche gerade auf dem Computer des Anwenders passieren. Ob Skypenachrichten, Musik oder Emails, wenn irgendwas passiert wird dies Farblich dargestellt.
Erster Laserprototyp
Nach den ersten Versuchen mit Karton und Papier haben wir eine Version in Plexiglas gelasert. Mit dem Epilog Laserschneider konnten wir ohne grossen Aufwand die gewünschte Form aus einer Illustrator Datei ausschneiden. Anschliessend haben wir den ausgeschnittenen Umriss noch in die gewünschte Form gebogen. Nun war es uns möglich, mit diesem ersten Modell des Laptophalters konkretere Versuche zu unternehmen. So konnten wir offene Fragen und Probleme klären, zum Beispiel, wie lange der Halter sein sollte, um die gewünschte Lichtmischung zu erzielen  oder wie die Leuchten platziert sein müssen, damit diese einen möglichst schönen und farblich gut durchmischten Hintergrund erzeugen.
Unter Berücksichtigung dieser Erkenntnisse erstellten wir nochmals einen Kartonprototyp, welcher eine schönere und leichtere Form hatte.

Schwarzer Laserprototyp
Tags darauf kauften wir im PerPlex Shop schwarzes Plexiglas in der von uns bevorzugten Dicke. Der nun finale Grundriss wurde wiederum ausgelasert und anschliessend in die gewünschte Form gebogen. Mit dem neuen Objekt aus schwarzen Plexiglas sind wir sehr zufrieden. Die Form funktioniert sowohl als eigenständiges Objekt wie auch als Halter für ein Notebook.

Programmierung Teil 1
Nachdem der Laptopständer fertig war, mussten wir uns an die Programmierung machen. Zuerst entschieden wir uns, die Software Growl, welche für Apple verfügbar ist, zu verwenden. Diese fängt verschiedene Events des Computers ab und zeigt diese als Meldung auf dem Bildschirm an. Da Growl keine API zur Verfügung stellt, entschieden wir uns, alle Growl Meldungen an eine e-mail Adresse zu senden und diese anschliessend regelmässig zu überprüfen. Wir verwendeten dazu ein Java Programm, welches Philipp Läubli für uns programmierte. Das Programm prüfte alle 10 Sekunden, ob ein neues Email in der Mailbox vorhanden war. War dies der Fall, so sendeten wir den Inhalt des Mails an ein Processing Programm, mit welchem wir den Inhalt des jeweiligen Mails auslesen konnten und dem Inhalt entsprechend verschiedene Stadien an das Arduino sendeten. Wir stellten jedoch fest, dass dieses Vorgehen eine Verzögerung erzeugte und waren deshalb nicht zufrieden. Kurz vor Feierabend kam die Idee auf, nicht über Growl zu arbeiten, sondern die einzelnen Programme direkt anzusprechen.

Über das Skype Python API konnten wir schnell und einfach die Events von Skype abfangen. Vom Python Programm war es dann ein Leichtes, eine Verbindung zu Arduino herzustellen. Nun konnten wir die Skypenachrichten direkt nach dem absenden visuell darstellen.

Programmierung Teil 2
Nach der Entscheidung, die einzelnen Programme mit Python direkt anzusprechen, schauten wir verschiedene APIs diverser Programmhersteller genauer an. So kamen zu den Programmen, welche Events auslösen, noch Last.FM und E-mail dazu. Bei Last.FM entschieden wir uns, den Wechsel zwischen verschiedenen Musiktracks zu visualisieren. Ausserdem überprüften wir in der Mailbox, ob ein neues Mail eingetroffen war. War dies der Fall, so sendeten wir ein Signal an das Arduino.

Downloads

Dokumentation
Projektwebseite

Wieso ein Würfel? Ein Würfel hat etwas unberechenbares, ein Würfel lädt zum Spielen ein, ein Würfel ist eine ungewohnte Art zur Steuerung eines Programms. Und schliesslich „würfelt“ unser Programms auch einen Videoclip zusammen.

Auf unserem Würfel sollte nicht klar erkennbar sein, welche Funktion welchen Prozess auslöst, deshalb ist die Würfeloberfläche mit speziellen Tags versehen. Diese werden mit reacTIVision und einer externen Webcam gescannt und entsprechend interpretiert. Nach der Erkennung eines Tags wird im Programm eine entsprechende Funktion ausgelöst. Die Funktionen sind unterschiedlich und beinhalten Video- und Audioverarbeitung. Ziel ist es, einen Videoclip zu produzieren, in dem man einfach würfelt. Bei den Videofunktionen werden einerseits einzelne Bilder geladen oder man wird von einer zweiten Webcam gefilmt. Die gefilmten Aufnahmen werden als MovieClips gespeichert. Sind mehrere Video vorhanden, werden diese gemixt. Bei den Audiofunktionen wird bei einer Funktion eine Audioaufnahme über ein Mikrophon erstellt. Diese wird nach 5 Sekunden gestoppt und eine AIF Datei daraus erstellt. Eine weitere Audiofunktion ist das zufällige Abspielen einer Audiodatei. Am Ende wird aus all den zusammen gewürfelten Funktionen ein VideoClip produziert und abgespielt.

Ziel des Projektes

Bei unserem Projekt haben wir kein fix fertiges Endprodukt vor Augen gehabt. Viel mehr sollte eine flexibel erweiterbare Videoclipmaschine
erstellt werden. Diese Videoclipmaschine sollte viele in den letzten Tagen gelernte Elemente beinhalten.

Fazit
Unsere Idee, die unterschiedlichen erlernten Funktionen von MAX MSP / Jitter / reacTIVision zu verwenden, konnten wir realisieren. Wir
konnten Videotracking, Audio- und Videoverarbeitung verbinden. Das Speichern von einzelnen Audio und Videodateien funktioniert ebenfalls.

Printscreen aus einer MAX MSP Datei. Alle MAX MSP Dateien zum downloaden findet man hier:

MAX MSP Dateien

Als etwas anspruchsvollere Übung konstruierten wir einen Kran mit einer Seilwinde. Dabei kann der Kranarm über einen analogen Drehknopf bewegt werden und über den Mac wird die Seilwinde bedient. Für das Bewegen des Armes verwendeten wir einen Servo-Motor und für die Seilwinde einen AC-Motor.

Schema in MAX MSP

Seilwinde in Bewegung

Seitenansicht Seilwinde

Zusammen mit Gabriel Süss habe ich eine kleine Steuerung zusammengestellt welche sich durch ein Handklatschen eingeschaltet und abgeschaltet wird. Zwei LEDs fangen dann abwechslungsweise an zu blinken. Im gleichen Zug beginnt auch eine LED Abfolge abzulaufen was ein Durchlaufen eines Lichtes simuliert.
Die Geschwindigkeit des Ablaufes wird durch einen Lichtsensor geregelt.

Nach dieser kleinen Übung haben wir im Klassenverband gearbeitet und haben eine kleine Steuerung für unseren für den nächsten Tag angekündeten Apero erstellt.

Eine gute Übersicht über das Projekt findet man auf der offiziellen Projektwebseite der ZHDK
http://iad.projects.zhdk.ch/physicalcomputing/seminare/physical-computing-primer-hs08/dokumentation-hs08/dokumentation-nino/