Мультимодальная перцепция и коммуникационные каналы восприятия криминогенного интернет-дискурса. 2
Как мы отметили выше, поликодовым текстом является семиотически осложненный (гетерогенный) текст. Реализуемые в таком тексте информационные потоки могут декодироваться в одной или разных модальностях восприятия (перцепции) одновременно. Под модальностью нами понимается тип внешнего стимула, воспринимаемого одним из чувств человека, в первую очередь зрением и слухом, а также осязанием.
Например, вербальный и иконический компонент креолизованного текста декодируется в рамках одной модальности - зрительной. В случаях, когда к вербальному и визуальному (иконическому (=статическому) или динамическому) коммуникационным каналам добавляется акустический сигнал, речь идет уже о мультимодальной перцепции, задействующей две сенсорные модальности: зрительный и слуховой. Тексты, воспринимаемые двумя или более сенсорными модальностями, некоторые ученые предлагают именовать мультимодальными текстами <33>. На наш взгляд, это не совсем корректно: мультимодальной является перцепция, а текст остается поликодовым.
<33> Бутакова Л.О. Семантическое пространство мультимодального текста как эмотивно-ценностный феномен (на материале восприятия русских и американских мультфильмов) // Филология и человек. 2016. N 2. С. 63 - 73.
Иными словами, следует различать "невербальный" в тексте (только изображение (статическое или динамическое) и символы), т.е. когда речь идет о мономодальной зрительной перцепции, и "невербальный" в дискурсе (плюс разнообразные звуки, музыка, жесты, мимика и т.п.), т.е. когда речь идет о мультимодальной перцепции.
А.А. Кибрик выделяет три информационных (коммуникационных) канала: сегментный (вербальный), просодический и визуальный <34>. Эксперимент, направленный на установление относительного вклада информационных каналов в усвоение реципиентами информации, продемонстрировал, что, во-первых, "иерархия каналов по информативности выглядит так: вербальный > визуальный > просодический"; во-вторых, "вербальный канал, по-видимому, является основным, а информация из двух других каналов интегрируется на основе вербально передаваемой информации" <35>.
<34> Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования. IV. М.: ИП РАН, 2010. С. 135.
<35> Кибрик А.А. Указ. соч. С. 142 - 143.
Нам представляется недопустимым смешивать каналы восприятия (модальности перцепции) и информационные (коммуникативные) каналы: вербальный (сегментный), визуальный и просодический. Зрительный канал восприятия может включать и сегментный, и визуальный коммуникационные каналы. Речь идет не только о включении в речевой продукт статического или динамического изображения, но также о графическом оформлении письменного речевого высказывания: цвет, размер, шрифт и т.п. Говоря об информационных каналах в звучащей речи, включающей помимо сегментного, вербального, компонента также несегментный, просодический, компонент, А.А. Кибрик использует удачную метафору: "вербальный и просодический каналы соотносятся как цифровой (дискретный) и аналоговый (недискретный) коды" <36>.
<36> Кибрик А.А. Указ. соч. С. 135.
На наш взгляд, более подробно классификацию коммуникационных каналов можно представить следующим образом:
1) зрительная модальность:
а) вербально-графемный коммуникационный канал;
б) визуально-образный коммуникационный канал;
- статический;
- динамический;
2) слуховая модальность:
а) вербально-акустический коммуникационный канал;
- акустико-дискретный;
- акустико-просодический;
б) невербально-акустический коммуникационный канал.
Более дробной единицей данной системы будет выступать семиотический код: например, в динамическом визуально-образном коммуникационном канале могут реализовываться жесты, мимика и просодические коды.
Так, информационные атаки в интернет-медиа охватывают речевые стратегии и тактики, использующие наряду с языковым кодом графические (как статические, так и динамические), а также звуковые средства. Таким образом, речь идет о поликодовых текстах, реализуемых через вербальный, визуальный и просодический коммуникационные каналы в совокупности как минимум через две модальности: зрение и слух. Кроме того, современная интернет-коммуникация, реализуемая в превалирующем объеме посредством использования мобильных устройств (смартфонов, планшетов и т.д.), позволяет и побуждает пользователя кинетически взаимодействовать с поликодовым текстом, пальцем(-ами) увеличивая/уменьшая/пролистывая веб-страницу или ее элементы, а также файлы, передаваемые посредством коммуникации в мессенджерах и социальных сетях. Указанное взаимодействие пользователя с электронным устройством напрямую определяет качество усвоения пользователем передаваемой информации, т.е. кинетический навык определяет перцепцию, и следует говорить о еще одной модальности восприятия - кинетической перцепции. К сожалению, вопросы кинетической перцепции поликодовых текстов до настоящего момента фактически не рассматривались в литературе, поэтому надеемся, что обозначенная проблема найдет свое решение в будущих научных изысканиях.
Г. Кресс и Т. Леувен совершенно верно утверждают, что комбинированное использование различных моделей для создания смысла дошло до того, что теперь, вполне возможно, при осмыслении текста, даже одной его языковой части, мы должны четко понимать, что некоторые другие особенности могут повлиять на его смысл <37>.
<37> Kress G., van Leeuwen T. Reading images: The grammar of visual design. London: Routledge, 1996.
В практике судебно-экспертного исследования полимодального текста криминогенной интернет-коммуникации возникает ряд вопросов, требующих теоретического изучения. Что первично: вербальный или невербальный компонент комбинированного текста? Значение какого компонента будет основным, а какой компонент привносит дополнительные коннотации? Как соотносятся значения (денотаты) вербального и невербального(-ых) компонента(-ов)?
При семантическом анализе поликодовых текстов эти и другие вопросы закономерно вытекают из тезиса о том, что невербальные коды (модусы) в рамках комбинированных текстов тоже являются носителями значений (смыслов). В семантике изображения Р. Барт (по аналогии со словом) выделяет денотативные и коннотативные значения. Невербальный знак, по мнению указанного ученого, содержит два рода означающих: 1) означающие, означаемыми которых являются реальные предметы (денотативная информация, основывается на антропологических знаниях), и 2) означающие, означаемыми которых являются идеи, образы, ценности (коннотативная информация основывается на ассоциативных связях в рамках культурного кода). Например, изображение белого голубя, с одной стороны, означает саму птицу, с другой - традиционный образ мира <38>.
<38> Barthes R. Rhetoric des Bildes // Alternative. 1964. N 54.
В то же время необходимо учитывать, что вербальный и невербальный(-ые) компонент(-ы) - не сумма семиотических знаков, а интегрированный комплекс, образующий "сложно построенный смысл" <39>. Как утверждает Е.Е. Анисимова, в поликодовом тексте семантика вербального компонента дополняется, усиливается и модифицируется с помощью паралингвистических средств, которые также обладают семиотической функцией наполнения плана содержания поликодового знака <40>. Таким образом, мультимодальная перцепция позволяет говорить о семантике поликодового текста как о своеобразном гештальте - целостном образе, который является чем-то , чем сумма его составляющих: как на уровне денотативного компонента, так и на уровнях сигнификативного, прагматического и синтаксического компонентов лексико-семантической информации.
<39> Анисимова Е.Е. Лингвистика текста и межкультурная коммуникация. С. 11.
<40> Анисимова Е.Е. Паралингвистика и текст (к проблеме креолизованных и гибридных текстов) // Вопросы языкознания. 1992. N 1. С. 71 - 78.
В другой работе Е.Е. Анисимовой гетерогенность трактуется как языковой феномен (гибридность) и как семиотический феномен (креолизованность) <41>. Гибридность рассматривается как способность сочетать в религиозном дискурсе элементы разных стилей, языков, жанров. Креолизованность является результатом соединения элементов разных семиотических кодов. Гетерогенность понимается как имманентное свойство основных видов религиозного дискурса - сакрального и литургического.
<41> Анисимова Е.Е. О гетерогенности религиозного дискурса // Вестник МГЛУ. Вып. 15 (675). Семиотическая гетерогенность языковой коммуникации. Теория и практика. М., 2013. Ч. II. С. 9 - 22.
Кроме того, дальнейшего научного изучения заслуживают проблемы исследования синтаксического значения высказывания. Как указывала И.М. Кобозева, "синтаксическое значение знака позволяет носителям языка при его употреблении формировать ожидания относительно обязательного или по меньшей мере высоковероятного появления при дальнейшем развертывании дискурса других знаков определенного типа" <42>. Подобное "ожидание" может основываться на приемах иронии и сатиры, свойственных таким постерам, как демотиваторы. В криминогенных речевых продуктах этого жанра оба композиционных элемента (содержание "в рамке" и комментарий "на рамке") могут включать вербальный компонент. Вербальный компонент (высказывание) "внутри" не только описывает некоторую ситуацию действительности (денотат, референт), подавая ее в определенной интерпретации (сигнификат) и с определенной речевой целью (прагматика), но и предъявляет определенные требования к содержанию высказывания-комментария "на рамке". В то же время указанные синтаксические отношения не сводятся к отношениям иллокутивного вынуждения, описанным А.Н. Барановым, Г.Е. Крейдлиным применительно к гомогенным речевым продуктам <43>.
<42> Кобозева И.М. Лингвистическая семантика: учебное пособие. М.: Эдиториал УРСС, 2000. С. 62.
<43> Баранов А.Н., Крейдлин Г.Е. Иллокутивное вынуждение в структуре диалога // Вопросы языкознания. 1992. N 2. С. 241 - 252.
