Call Nelson е интерактивна арт инсталация със стар български телефон с шайба и кинескопен телевизор. На екрана е Нелсън, образ, създаден с изкуствен интелект, с когото посетителят може да разговаря по телефона на български.
Проектът започна на HackTUES 12 като гласов асистент, достъпен чрез телефонно обаждане. Първоначалната ни идея беше да улесним достъпа до информация и дигитални услуги за хора, които не използват смартфон или компютър. В рамките на програмата „Лаборатория за интерактивно дигитално изкуство“ на СОКИ решихме да развием проекта като арт инсталация. Запазихме телефонния разговор като основа и добавихме видим събеседник и физическа среда за срещата с него.
Посетителят вдига слушалката и чува глас, който му съобщава трицифрен номер. Набира го на шайбата и Нелсън отговаря. Гласът му се чува в слушалката, а на телевизора той също държи телефон до ухото си. Разговорът няма предварително зададен сценарий: посетителят избира какво да каже или попита, а отговорите се генерират в реално време. Когато посетителят затвори, Нелсън също оставя слушалката и отново чака.
Интересува ни как се променя усещането за разговор с изкуствен интелект, когато той има лице и глас, а общуването минава през стар телефон. Завъртането на шайбата, изчакването и гласът в слушалката са част от тази среща. За някои посетители тези действия са познати, а за други самият апарат е нещо, което тепърва опознават. Искаме да оставим място за личната им реакция — как ще заговорят Нелсън, какво ще му споделят и доколко ще го приемат като събеседник.
За инсталацията преработихме български телефон Респром ТА–600, като използваме механичните му контакти за управление на разговора. Изведохме връзки от слушалката и от контактите на шайбата. Те са свързани към входовете на Raspberry Pi, който разпознава вдигането, набирането и затварянето. Микрофонът и говорителят в слушалката са свързани през USB звукова карта. Така посетителят използва самия телефон, а действията му се разчитат от компютъра.
Софтуерът е написан на Python специално за инсталацията. Той брои импулсите от шайбата, за да разпознае всяка цифра, и филтрира кратките смущения от механичните контакти, които иначе могат да доведат до грешно набиране. Отделна част управлява телефонните сигнали, съобщаването на номера и проверката дали е набран правилно. След това се отваря гласова сесия с OpenAI Realtime API: звукът от микрофона се изпраща към модела, а отговорът се възпроизвежда в слушалката. При затваряне сесията се прекратява. Указанията за езика и поведението на Нелсън са в отделен текстов файл, така че могат да се редактират без промяна в програмния код.
На кинескопния телевизор се възпроизвеждат предварително генерирани видеоклипове, в които Нелсън чака, вдига слушалката, говори, слуша и затваря. Софтуерът управлява смяната им според състоянието на разговора. Клиповете са подготвени с ffmpeg и обединени в един видеофайл, а mpv възпроизвежда и повтаря съответните участъци. Това позволява преходите да се правят в рамките на вече отвореното видео и намалява прекъсванията при смяна на сцените. Raspberry Pi управлява едновременно телефона, звука и картината, а програмата е настроена да се стартира автоматично при включване на инсталацията.
Екип: Крум Султов, Ева Георгиева, Александър Петров, Мариян Чолаков, Борислав Бойдев