Что видишь, то и слышишь.
Ключевые выводы
- Хотя это может показаться нелогичным, звук оказывает большое влияние на то, что мы видим.
- Исследователи объединили несвязанные изображения, например, козу и мотороллер Vespa, воспроизводя разные звуки для добровольцев.
- Звуки повлияли на то, как добровольцы интерпретировали изображения.
В хорошо известной иллюзии, называемой эффектом МакГурка, мы видим человека, снова и снова произносящего «слово» ба. Но если движения губ меняются, чтобы соответствовать другому слову, мы слышим что-то другое, хотя звук, исходящий из уст человека, не изменился. Эта иллюзия показывает, что визуальная информация играет большую роль в том, как мы слышим речь.
Исследование, опубликованное в журнале Psychological Science, показывает, что звук оказывает большое влияние на то, что мы видим. Джамал Уильямс из Калифорнийского университета в Сан-Диего и его коллеги создали набор неоднозначных изображений, объединив черты пар объектов, таких как кошка и чайник, самолет и птица или коза и мотороллер Vespa.
Затем они показывали участникам эти изображения вместе с естественными звуками, которые были связаны или не связаны с одним из объектов, и просили их решить, что они видели, нажав кнопку. Например, при просмотре изображения, созданного путем трансформации самолета в птицу, они услышали звук самолета, птицы или молотка.
Исследователи обнаружили, что родственные звуки сильно влияют на то, как участники воспринимали неоднозначные изображения. В приведенном выше примере, услышав звук самолета или птицы, их обработка изображения изменилась, так что они увидели объект, соответствующий услышанному звуку. Звуки также влияли на время отклика участников. Когда они слышали посторонний звук, им требовалось больше времени, чтобы сообщить, какой объект они видели.
Два дальнейших эксперимента включали в себя точно такую же процедуру, за исключением того, что на этот раз звуки воспроизводились после предъявления изображений или непосредственно перед ними с разным интервалом времени между звуком и изображением. В обоих случаях звуки не повлияли на суждения участников.
Вместе эти результаты показывают, что звуки изменили визуальную обработку изображений, а не процесс принятия решений или предварительные знания участников, которые, как известно, также влияют на визуальное восприятие.
Слушать значит верить
Предыдущие исследования показали, что звук может улучшить ранние этапы обработки изображений, сделать движущиеся изображения более четкими и ускорить и повысить точность задач обработки изображений более высокого уровня, таких как распознавание объектов.
Это новое исследование показывает, что звук может оказывать более существенное влияние на визуальную обработку и сдвигать визуальные представления объектов из одной категории в совершенно другую - но только тогда, когда изображения и звук перекрываются во времени.
Результаты показывают, что визуальное восприятие представляет собой непрерывный активный процесс, который не изолирован, а включает мультисенсорную интеграцию со звуками, вызывающими выводы, которые используются для интерпретации неоднозначных изображений.