Brain Opera

en

Noor – A Brain Opera

A fully immersive brain opera premiers in 360-degree theatre, with a performer launching video, audio and a libretto through brainwaves and audience interaction.

The world premier was at ISEA 2016 Hong Kong on May 18th, and it had a second run at the Microwave Festival in Hong Kong on May 27th

Noor (which translates as ‘light’ in Arabic) is a brain opera that asks, though metaphor, analogy, sound, text, light, movement, brain sensors and audience interaction with an ‘actor’ wearing an Emotiv EEG brainwave headset just one simple question –

“Is there a place in human consciousness where surveillance cannot go?”

Noor is an original ‘brain opera’. Though artists have been working with EEGs producing musical events, no one has ever created a full audio visual brain opera.

Using an EEG enabled headset, the performer’s emotional states will, at various times, launch digital databanks of video, audio and text enabled events while simultaneously displaying the performer’s brainwaves live-time for audience viewing.

 

 

Story

Noor is loosely based on the true story of Noor Inayat Khan, a Russian born, European raised Sufi Muslim Princess whose father Hazrat Inayat Khan brought Sufism to the West.

During WWII Noor became a covert wireless operator for British Intelligence by parachuting deep inside occupied Vichy ruled France. For a period of three months Noor (code name “Nora”) was the only communications link transmitting critical information back to the Allies.

Caught by the Gestapo, who were unable to break her to find out any information about her transmission cell, Noor was shot inside the infamous Dachau prison shortly before the end of the war.

Noor will be used as metaphor to work with issues of surveillance, privacy and faith.

Assistant Section Officer Nora Inayat-Khan, who was awarded the George Cross posthumously. Miss Inayat-Khan, of the Women’s Royal Air Force, was the first woman intelligence radio operator to be infiltrated into enemy-occupied France. She was captured by the Gestapo and shot at Dachau in September 1944, at the age of 30. Although constantly sought by the Germans, who knew her only by her code name ‘Madeleine’, she would not leave her post. She was the daughter of the late P M Inayat-Khan, Professor of Philosophy and Psychology at the University of Paris. Educated in France, Miss Inayat-Khan trained as a nurse. The award was received on her behalf by her sister Miss Claire Ray-Baker, accompanied by their brother, Mr Inayat Khan

 

 

Production team

Ellen Pearlman – director, producer, video artist (New York)
Saba Arat – performer (Istanbul)
Taras Mashtalir – sonic artist (New York)
Natali Fedorova – librettist (St Petersburg)
David Leung – choreographer (Hong Kong)
Vincent Mak – videographer (Hong Kong)
William Wong – technical director (Hong Kong)
Tommy Martinez – programmer (New York)

 

 

 

Technology

Using an Emotiv headset , a databank of images, sounds and text has been created and calibrated to launch according to different emotional states of the ‘actor’.

Those states and databases are keyed to the following mental states:

1. Relaxation
2. Engagement (attention)
3. Interest (enjoyment)
4. Stress
5. A fifth screen displays the ‘actor’s live-time brainwaves

 

Interactive Components – A Continuous, Live-Time Feedback Loop

The performer moves through the audience. The audience either stands, or sits depending on the venue.

The libretto (spoken word)  is played, triggered by brain activity and reflecting emotional states of  an “actor”, recounting of key moments from the life of Noor.

The performer’s brainwaves are displayed in real-time for the audience to see as they interact with them, and the story. As the performer’s emotional states change, different videos, voices, and parts of the libretto are triggered on four different screens. This in turn changes the performer’s emotional state, which changes the mood and responses of the audience.

Only the screen displaying the performer’s brainwaves will be active all the time.

The other four emotional states will cause the displayed images and sound to ebb and flow, depending on the realtime interaction between the audience and the performer.

 

Results

Neuroscience’s presumption is similar to other forms of reading the body features or reactions that are supposed to reveal the subject’s thoughts, feelings or memories more competently than the subject him or herself can ever be able to.

Basically, emotions in this case can be equalled to a certain movement, transition from one state to another.

This condition of trust to the objectivity of the machine marks the end of humanistic paradigm in which the subject used to have the final say, whereas in antropomorphic universe where human judgement and emotions were the ultimate measure of value, their subjectivity is being.

And is fact bearing in mind the semantic structures of cities, social and computer networks we may indeed be already living is such a universe.

The objective data turn, being discussed within the speculative realism paradigm, is one of the conditions proved by the brain opera “Noor”.

 

 

Documentary

Live video and audio from one of the sessions at CityU School of Creative Media’s immersive 360 degree stereoscopic visualization environment – Gallery360.


Photos

 

ru

Нур – Нейро опера

Первая нейро-опера «Нур»: Прозрачный мозг и конец гуманистической этики?

Нур – первая в мире нейро-опера, премьера которой состоялась в Run Run Creative Media Center в Гонконге 18 мая 2016 года.

В этой опере музыка, либретто и визуальные эффекты генерируются мозговыми волнами исполнителя, носящего беспроводную ЭЭГ нейро гарнитуру, как корону.

Нур обсуждает вопросы идеализма, жертвы и самодостаточность под наблюдением все более инвейсив и сложных технологий данных.

«Есть ли место в человеческом сознании, где наблюдение не возможно?»

Нур стала оригинальной «нейро оперой». Используя гарнитуру с ЭЭГ, эмоциональные состояния исполнителя в разное время запускают цифровые базы данных видео, аудио и текстовые события, одновременно отображая мозговые волны исполнителя в режиме реального времени для просмотра аудитории.

Эта работа была представлена ​​в полнометражном театре «Школа творческих медиа» 360 градусов в Гонконгском университете.

 

Это произведение находится в стадии разработки, и имеет полностью функциональный прототип EITI Emotive нейро гарнитуру.

С января по март 2016 года была проведена адаптация театра 360º для использования прототипa, завершение форм анализа мозговых волн, работа с хореографом и тестирование сонификации, визуализации и вокализации либретто.

Целевая аудитория – местная и международная аудитория более 1200 человек, которые прибыли на симпозиум ISEA 2016 (Международное общество по электронному искусству) с 16 по 22 мая совместно с Школой творческих медиа, Гонконгским городским университетом и Гонконгом Политехническим Университетом , а также широкой общественности Гонконга.

Это постановка стала особенно интересна для тех, кто участвует в Гонконгском инновационном и технологическом бюро, а также тех, кто заинтересован в технологических стартапах и инкубаторах.

Нур – Нейро Опера предназначена для демонстрации того, чтобы показать Гонконг как глобального партнера в развитии креативных технологий.

Профессиональная контрактная рекламная команда ISEA 2016 занималась рекламой и прессой, а также активно задействовала различные социальные сети.

Предполалось, что место проведения не только будет заполнено, но и возникнет необходимость к дополнительным просмотрам, которые могут быть добавлены в последний момент для удовлетворения спроса.

Часть была задокументирована и размещена в Интернете в жатые сроки после исполнения.

 

История
Нейро Опера основанные на реальных событиях.

Эта история – биография Нур Инайят-хана, рожденной в России , выросшую в Европе, воспитанную как настоящую суфийскую мусульманскую принцессу её отцом, Хазрат Инаят-хан, принесший суфизм на Запад.

Во время Второй мировой войны Нур стала тайным оператором беспроводной связи для британской разведки, парашютируя глубоко внутри оккупированной Франциии. В течение трех месяцев Нур (кодовое название «Нора») была единственной коммуникационной линией, передающей критическую информацию обратно союзникам.

Пойманная гестапо, и не сумевши сломать ее, чтобы узнать какую-либо информацию о ее передающей группе, Нур была застрелен в печально известной тюрьме Дахау незадолго до окончания войны.

 

Assistant Section Officer Nora Inayat-Khan, who was awarded the George Cross posthumously. Miss Inayat-Khan, of the Women’s Royal Air Force, was the first woman intelligence radio operator to be infiltrated into enemy-occupied France. She was captured by the Gestapo and shot at Dachau in September 1944, at the age of 30. Although constantly sought by the Germans, who knew her only by her code name ‘Madeleine’, she would not leave her post. She was the daughter of the late P M Inayat-Khan, Professor of Philosophy and Psychology at the University of Paris. Educated in France, Miss Inayat-Khan trained as a nurse. The award was received on her behalf by her sister Miss Claire Ray-Baker, accompanied by their brother, Mr Inayat Khan

 

Опера может рассматриваться как разработка методов нейровизуализации данных и в то же время, как борьба с диктатурой Оруэллиана Паноптикона: вместо того, чтобы управляться властью, поскольку мозг субъекта прозрачен, исполнитель регулирует свои мозговые волны, передаваемые через гарнитуру EEG звуковой средой, либретто и видео.

Мозговые волны отображаются вживую, поскольку исполнитель взаимодействует с аудиторией в 360-градусном имерсивном театре. Опера создает пример использования ЭЭГ для построения повествования и ответа на социокультурный вопрос: есть ли место в сознании, где наблюдение не возможно?

Другой вариант этого вопроса: что делает для сознания, которое может быть защищено от вторжения посредством умственной силы и силы воли.

 

Творческая группа

Нейро-опера была разработана международной командой художников:

Эллен Перлман – режиссер, продюсер, видеограф, кандидат наук, школа творческих медиа, городской университет Гонконга, (Нью Йорк)

Тарас Машталир – медиа художник, композитор (Нью Йорк)

Наталья Федорова – либреттист,  электронный поэт (Санкт-Петербург)

Саба Арат – исполнитель, музыкант, студент Гонконгского Политехнического Университета (Станбул)

Дэвид Леунг – хореограф, инструктор Гонконгской академии исполнительских искусств (Гонконг)

Уильям Вонг – технический советник, цифровой художник, инструктор в MAX / MSP Гонконгского Политехнического Университета (Гонконг)

Томми Мартинес – программист MAX / MSP (Нью-Йорк)

 

 

Технологии

Используя гарнитуру Emotiv и программное обеспечение на базе MAX / MSP, Isadora, Ableton Live был создан рабочий прототип, содержащий базу данных голосов симфонического хора, либретто и видео клипов,  откалибрированная для запуска в соответствии с различными эмоциональными состояниями «актера».


Эти состояния и базы данных привязаны к следующим психическим состояниям:

1. Релаксация (медитация)
2. Участие (внимание)
3. Интерес (удовольствие)
4. Напряжение (раздрожение)

– Пятый экран отобразит цветовой эквивалент эмоционального состояния актера в реальном времени.

 

Опера работала с телами исполнителя, а участники создавали петлю обратной связи через движение, взгляд, прикосновение и речь – заметно изменяя мозговые волны исполнителя.

Первый исполнитель и второй исполнитель / рассказчики показывают один из слоев истории в диалоге. Этот диалог приводит к эмоциональной реакции в мозге Арата, вызванной ЭЭГ. Зритель может испытать историю и в то же время увидеть, как история переживается исполнителем.

Саба Арат участвовала в репетициях, тренировав эмоциональные состояния и трансляции активности головного мозга via EGG в течение нескольких месяцев.

Дэвид Леунг, хореограф и танцор, специалист в области контактной импровизации, а также практикующий Цигун, консультировал Сабу как достичь определенных эмоциональных состояний.

 

Уильям Вонг, художник и медиа-инструктор в Гонконгском Политехе, работал техническим директором,  дистанционно сотрудничая с Томми Мартинесом в Нью-Йорке.

Музыка –  это генеративная композиция, в реальном времени отображающая психологические состояния «актрисы» благодаря комплексному программному обеспечению, созданному Тарасом Машталир, задействовав Max MSP, Isadora, Ableton Live and Native Instruments.

Либретто – это четыре базы данных, отражающие четыре эмоциональные состояния «актрисы», созданые электронной поэтессой Натальей Федоровой.

 

Итоги

Презумпция нейро-науки аналогична другим формам чтения особенностей тела или реакций, которые должны раскрывать мысли, чувства или воспоминания субъекта более точно, чем субъект,  когда-либо мог.

В принципе, эмоции в этом случае можно приравнять к определенному движению, переходу из одного состояния в другое. Это условие доверия к объективности машины обозначает конец гуманистической парадигмы, в которой субъект имел последнее слово, тогда как в антропоморфной вселенной, где человеческие суждения и эмоции были конечной мерой ценности, есть их субъективность.

И факт, принимая во внимание, что семантические структуры городов, социальные и компьютерные сети, в которыхе мы, возможно, уже живем, – это такая вселенная.

Объективные данные поворота, обсуждаемые в рамках парадигмы спекулятивного реализма, являются одним из условий, доказанных нейро оперой «Нур».

 

 

Документация

видео и аудио с одной из сессий в CityU School of Creative Mediа’s Gallery360 – иммерсивная 360-градусная стереоскопическая среда визуализации.


Фото