Revista
Latina de Comunicación Social 63 enero – 2008
|
Edita: LAboratorio de Tecnologías de la Información
y Nuevos Análisis de Comunicación Social |
La anticipación del sonido y su relación con la estructura narrativa del mensaje audiovisual The overlapping of sound and the narrative structure of the audiovisual message Ddo. Luis Fernando Morales Morante © [C.V.] Profesor Asociado del Departamento de Comunicación Audiovisual y Publicidad - Universidad Autónoma de Barcelona, UAB – España - fernando.morales@uab.es Resumen: El retraso del sonido respecto de la imagen (overlapping) constituye un recurso expresivo del montaje audiovisual utilizado frecuentemente por los realizadores para remarcar el ingreso de una acción nueva o relevante en el desarrollo de las historias. Sin embargo, no existen estudios empíricos que avalen el efecto directamente asociado a este procedimiento en los discursos. En el presente artículo se efectúa un estudio cualitativo mediante el cual se analiza una muestra de 235 overlappings de secuencias de películas, noticias y anuncios de publicidad, registrados de vídeos de Internet. Se advierte un tratamiento fílmico propio del overlapping, la existencia de una estructura semántica coherente que define este tipo de mensajes y una eventual relación entre los cambios de la intensidad del sonido con efectos emocionales como la sorpresa. Los resultados obtenidos pueden ser útiles para desarrollar un método de análisis y mejora de la efectividad de los discursos audiovisuales basados en la estimulación perceptiva, y para el diseño de sistemas eficientes de postproducción de video y sonido. Palabras clave: overlapping; Sincronía; Montaje; Edición; Postproducción; Realización; Vídeo; Estimulación; Percepción; Atención; Codificación; Comprensión; Memoria; Mensaje; Complejidad; Procesamiento; Información; Coherencia; Expresión; Eficacia; Emoción; Lenguaje; Gramática; Plano; Escena; Secuencia. Abstract: The delete in sound with respect to the image (overlapping) is an expressive resource of the audiovisual editing that is frequently used by directors to introduce a new or relevant action into the story being told. Nevertheless, there are no empirical studies that state this effect as a consequence of the overlapping. In this article, we carry out a qualitative study of 235 overlappings from sequences of films, news and TV commercials, retrieved in the Internet. As a result, we note a use of the overlapping as a coherent semantic structure defining this sort of messages, and a casual relation between variation of intensity of sound and emotional responses such as surprise. This conclusion can be very useful for the development of a method of analysis and the improvement of the audiovisual discourses efficacy based upon emotional stimuli; likewise, this can be very handful for the design of efficient postproduction systems of sound and video. Key Words: Overlapping; Synchrony; Mounting; Editing; Postproduction; Perform; Video; Stimulation; Perception; Attention; Encoding; Understanding; Memory; Message; Complexity; Processing; Information; Consistency; Expression; Effectiveness; Excitement; Language; Grammar; Shot; Scene; Sequence. Sumario: 1. Introducción. 1.1. Definición del objeto de estudio. 1.2. Objetivos. 2. Método. 2.1. Búsqueda de material mediante Palabras clave. 2.2. Visionado para la localización de overlappings. 2.3. Variables del estudio cualitativo. 2.3.1. Delimitación temporal de las unidades. 2.3.2. Niveles de sincronización. 2.3.3. Niveles del cambio de la estimulación sonora. 2.4. Muestra final de overlappings para el análisis. 2.5. Descripción del instrumento de análisis. 2.6. Procedimiento. 2.6.1. Protocolo estadístico. 3. Resultados. 4. Conclusiones y Discusión. 5. Referencias. Summary: 1. Introduction. 1.1. Definition of the subject of study. 1.2. Objectives. 2. Method. 2.1. Search of material using keywords. 2.2. Search of overlappings. 2.3. Variables of the qualitative study. 2.3.1. Temporal delimitation of the units. 2.3.2. Levels of sinchronization. 2.3.3. Levels of change of the sound stimulation. 2.4. Definitive sample of overlappings for analysis. 2.5. Description of the tool of analysis. 2.6. Proceeding. 2.6.1. Statistic protocol. 3. Results. 4. Conclusions and Discussion. 5. References. 1. Introducción Nuestra interacción con el mundo natural y los mensajes del cine o la televisión nos expone frecuentemente ante eventos perceptivos donde se produce una desincronización intencional o casual del sonido respecto de la imagen. En el mundo real, cuando estamos concentrados realizando una acción y de pronto escuchamos un sonido intenso, inmediatamente, prácticamente por reacción instintiva, nuestra vista intenta localizar el lugar de procedencia de dicho sonido para saber ¿qué ocurrió o qué provocó ese sonido? La misma intención se pretende provocar cuando se ligan dos sucesos correlativos o durante el ingreso de un elemento nuevo o importante en el interior de un mensaje audiovisual. Cualquiera de estas dos modalidades de contacto con el exterior, real o recreada, nos obliga siempre a fusionar sonido e imagen para extraer un conjunto de datos capaz de modelarnos una impresión definitiva de los acontecimientos. El overlapping es un procedimiento ampliamente utilizado en la práctica del montaje de productos audiovisuales, pero extrañamente no ha sido estudiado ni menos formalizado por la teoría del montaje cinematográfico. La literatura clásica menciona modelos, formas y procedimientos de montaje: Amiel (2005); Benedetti (2004); Browne (2003); Rey del Val (2002); Mitry (2002), que definen relaciones audiovisuales o recreaciones visuales entre los planos sobre la base de una banda sonora previamente elaborada. Estas clasificaciones obvian por completo cualquier definición o categorización de overlapping como complejo estructural narrativo y de activación expresiva. Los psicólogos, en cambio, han ido interesándose recientemente en este campo, quizás más por la similitud que conllevan las tareas perceptivas y del procesamiento de la información del filme con los modelos de la psicología cognitiva o del aprendizaje: Lang (1998); Sloan (2003); Rottenberg & Lowe (1996). Cuando un sonido se anticipa respecto de su imagen correspondiente en el interior de un mensaje, nuestros sentidos detectan momentáneamente una información semántica incompatible. Es entonces, a partir de la identificación de una serie de diferencias significativas entre ambos conjuntos como se define su estructura, su forma y, por consiguiente, su intención significativa. Esto sugiere la existencia de una base perceptiva de actuación del overlapping que no se asume en las teorías ni se relaciona con los modelos de montaje formalmente aceptados. 1.1. Definición del objeto de estudio El overlapping es el mecanismo de ensamble mediante el cual, dos sistemas audiovisuales coherentes semánticamente (Sistema Audiovisual 1 y Sistema Audiovisual 2) se conectan entre sí, mediante la anticipación del sonido correspondiente con el segundo sistema audiovisual. Existe, por consiguiente, un primer momento en el desarrollo de la exposición donde el sonido anticipado no se corresponde con la imagen y un segundo instante en el cual se activa la sincronía del segundo sistema audiovisual. En el siguiente gráfico se muestra una representación que simula la arquitectura formal del overlapping. El Sistema A mantiene una coherencia audiovisual total porque la imagen y el sonido que lo forman remiten a un mismo contenido y significado, hasta el instante donde se produce el ingreso del sonido correspondiente con el Sistema B (señalización en color rojo). En ese momento se produce temporalmente un conflicto entre la imagen y el sonido (sección en color sepia), porque tanto el sonido como la imagen responden a sistemas diferentes. Este desfase perceptivo se resuelve en el instante del ingreso de la imagen sincrónica correspondiente con el sistema audiovisual B (señalización en color azul), restituyendo así la coherencia semántica del discurso.
1.2. Objetivos En primer lugar, profundizar acerca de la fisonomía del overlapping puede ayudarnos a definir con precisión su forma interior y sus rasgos relevantes. Y en segundo lugar, el posible efecto comunicativo generado por el adelantamiento intencional del sonido. Esta información puede ser útil para incrementar la capacidad de comunicación de los discursos a partir del uso expresivo de la desincronización y de la explotación de los rasgos físicos del mensaje. Para ello definimos los siguientes objetivos de investigación:
En este sentido la definición de parámetros temporales concretos e indicadores de cambio estimular nos ayudará a determinar claramente los umbrales que separan a cada sistema audiovisual y los diferentes efectos expresivos vinculados a la desincronización y el cambio estimular. 2. Metodología La inexistencia de un conocimiento mínimo acerca de los mecanismos e intenciones que activan el uso de este procedimiento nos lleva a la necesidad de realizar un primer estudio exploratorio de carácter cualitativo, desarrollado en las siguientes fases: 2.1. Búsqueda de material mediante palabras clave En primer lugar se efectúa una búsqueda de vídeos por Internet utilizando palabras clave para detectar archivos donde pudiera haber presencia de overlappings. La utilización de este método de búsqueda sirve para reunir un base de datos de vídeos suficientemente amplia y con contenido diverso, atendiendo principalmente a las coincidencias entre los patrones que se suministran al sistema de búsqueda con el nombre del archivo, descriptor temático o la página Web asociada. Las palabras clave empleadas fueron seleccionadas tomando en cuenta que son usadas frecuentemente en el argot comunicológico para designar y clasificar archivos, secuencias, formatos y fragmentos de producciones audiovisuales. Finalmente, para complementar la diversidad de la muestra se incorporaron al listado de visionado ochenta videos de noticias de los canales BTV y TV3, respectivamente. En el siguiente cuadro se muestra la distribución de vídeos según las palabras claves de búsqueda. Las cinco primeras categorías arrojaron en el buscador un total de 662,588 vídeos localizados.
2.2. Visionado para la localización de overlappings Se visionaron 3102 videos correspondientes a las cinco categorías señaladas en los patrones de búsqueda. El número exacto de 1000 archivos visualizados que se indica en las categorías 1, 2 y 3 de la tabla, se debe a que la configuración del buscador de vídeos de Yahoo no permite visualizar más de 1000 resultados, aun cuando, en principio, se indique que han sido localizados un mayor número de archivos acordes con ese patrón de búsqueda. Esto, aparentemente, se debe a que es poco probable que en una misma sesión o incluso en sesiones continuadas, un solo usuario pueda visualizar más de 1000 videos de una misma categoría o palabra clave de búsqueda.
De acuerdo con el tipo de archivo, por vinculación directa, el ordenador utiliza los programas Windows Media Player 11 o Real Player 11 para reproducirlo. Cualquiera de los dos programas es válido y suficiente para poder visualizar los archivos y detectar la presencia de overlappings. 2.3. Variables del estudio cualitativo La fase de visionado además de servir para una depuración técnica de los clips y detectar casos repetidos, versiones diferentes de un mismo mensaje, etc., sirvió muy especialmente para tener un primer contacto directo con este objeto de estudio y analizarlo de forma aislada. Centramos nuestra atención en la detección de overlappings donde se advirtiera la existencia de dos rasgos principales: La fase de visionado además de servir para una depuración técnica de los clips y detectar casos repetidos, versiones diferentes de un mismo mensaje, etc., sirvió muy especialmente para tener un primer contacto directo con este objeto de estudio y analizarlo de forma aislada. Centramos nuestra atención en la detección de overlappings donde se advirtiera la existencia de dos rasgos principales:
Bajo estos dos criterios nos adentramos en un proceso de visionado y análisis de estas características, que, posteriormente serán transformadas en variables operativas. 2.3.1. Delimitación temporal de las unidades El overlapping construye una unidad de significado entre dos sistemas o campos semánticos espacial y temporalmente diferentes, cuyo sentido surge de la relación/no relación de dos estructuras diferentes, el tiempo de la desincronización del sonido y las características perceptivas producidas durante el cambio entre dichas unidades. Cada unidad discursiva posee unos rasgos propios, unos atributos formales y perceptivos que la modelan y la enclavan dentro de una tipología comunicativa. A partir de la delimitación de estas micro unidades y cuando se produce una nueva asociación (overlapping) la unión produce un nuevo significado, propio, por efecto de un choque perceptivo en términos del montaje intelectual definido por Eisenstein (1974: 80) o simplemente un efecto de ensamble continuista, por el engarce continuo y fluido de ambas piezas Reisz (2003: 201); Del Rey (2002: 93); Morales (2001: 14); Dancyger (1999: 297). La unidad semántica del overlapping surge, entonces, de una articulación coherente de la carga significativa de la banda visual y la banda sonora en un proceso de comunicación de doble canal. Estas características convierten al overlapping en una organización discursiva reconocible para el espectador. Definimos entonces las dos primeras variables de la siguiente manera.
2.3.2. Niveles de sincronización Otro factor relevante y significativamente variable que se advierte en los overlappings es el tiempo de exposición del segmento no sincrónico. Las teorías de la redundancia mencionan que cuando la imagen y el sonido remiten a significados diferentes, provocan una carga con información semántica discordante o incompatible que puede retrasar el proceso de codificación de los mensajes, afectando probablemente en la comprensión D´Ydewalle (2005); Fox (2005); Fox (2004); Lang (2000). No obstante, el overlapping conlleva un episodio momentáneo de anticipación sonora porque esta se localiza exactamente durante la transición que conecta los dos sistemas audiovisuales. Luego, de ese tiempo, nuevamente se recupera la sincronía hasta el momento de finalización del segundo sistema. Esto nos lleva a pensar que los efectos de una «desincronización momentánea» pueden provocar diferentes efectos en el receptor. Las investigaciones empíricas acerca de la redundancia sugieren que un intervalo prolongado de desincronización puede interferir en la codificación del mensaje porque existe una incompatibilidad de la información expuesta entre ambos canales: Lang (1999); Zhow (2005). En el contexto del discurso audiovisual, la desincronía suele insertarse con una finalidad expresiva, para provocar un episodio breve de incoherencia, dirigido a activar una búsqueda de información que relacione espacial o temporalmente la desconexión entre la imagen y el sonido. Esto parece bastante evidente porque, salvo en casos excepcionales, la reconciliación de la sincronía sucede antes de que pueda producirse un conflicto grave en la tarea de asignación de sentido. Dicho de otro modo, la recuperación de la sincronía resuelve completamente y de forma rápida la discordancia o incompatibilidad producida por el adelantamiento del sonido. Desde una óptica más orientada a comprender y justificar las decisiones y rutinas prácticas de montaje y postproducción, es importante conocer si en el interior de un mensaje la sección del overlapping mantiene una relación de proporción con la parte sincrónica, o si se diseña haciendo prevalecer la sincronía como eje narrativo. La aplicación y el análisis de las escalas pueden ayudarnos a entender al overlapping como un procedimiento de integración sensorial y dentro de un contexto de activación expresiva del discurso. La variable sincronización se define de la siguiente manera.
2.3.3. Niveles del cambio de la estimulación sonora Los cambios de intensidad sonora activan respuestas de orientación y defensa y se relacionan con el nivel de cambio y novedad de la información. La literatura sugiere que la impresión emocional de sorpresa se activa por cambios inesperados en nuestro entorno circundante Ohmann (1997). Esta evidencia empírica de los estudios psicofísicos puede ser trasladada al entorno de la experiencia audiovisual, tomando en cuenta que uno de los principales objetivos del discurso cinematográfico es generar estados emocionales intensos para dirigir la atención y facilitar la comprensión de los mensajes. En la práctica, esta activación se logra a través del uso expresivo del lenguaje cinematográfico. El visionado preliminar de archivos de video nos ha permitido detectar un número elevado de casos donde el overlapping recurre a un cambio de la intensidad del sonido para conectar expresivamente los dos sistemas. Esto rasgo constante del overlapping, probablemente sea un indicio importante que articule la relación entre el instante del cambio con el correspondiente rasgo semántico y el sentido comunicativo que transmite aquella porción del mensaje. Las formas sonoras en el cine se desarrollan siguiendo un esquema de compatibilidad, coherente con el significado que intentan evocar. Por ejemplo, el suspenso está usualmente asociado a un tratamiento de sonidos de una gama tonal grave, con una forma de onda casi lineal y una intensidad débil. Esta forma configura una atmósfera sonora de tensión e insuficiencia de elementos informativos que incrementan el impacto o el efecto inesperado de sorpresa a través del cambio junto con el ingreso de una nueva forma sonora perceptivamente diferente. La presencia de instantes de coincidencia entre los cambios de la intensidad del sonido con los segmentos claves de la acción dramática constituye para nosotros un indicador evidente de las estrategias discursivas que apelan a la fuerza expresiva de la sincronía para remarcar o incrementar la fuerza comunicativa en ciertas localizaciones claves de la narración audiovisual. Para establecer claramente dichos cambios resulta necesario desarrollar un modelo de escala de medición del cambio estimular entre los sistemas para disponer de un referente objetivo que pueda, eventualmente, reflejar una conexión de dichos cambios con la intención expresiva del overlapping. Esta escala se elabora a partir de 4 unidades representativas del aumento o disminución de la intensidad y 0 para SIN VARIACION.
Durante el proceso dirigido a elaborar la muestra definitiva, se eliminaron algunos overlappings que no se adecuaban a las características definidas previamente en el protocolo de variables cualitativas y que no evidenciaban claramente una voluntad expresiva o comunicativa mediante el overlapping. Se descartaron los clips que incluían una o varias de las siguientes características: Durante el proceso dirigido a elaborar la muestra definitiva, se eliminaron algunos overlappings que no se adecuaban a las características definidas previamente en el protocolo de variables cualitativas y que no evidenciaban claramente una voluntad expresiva o comunicativa mediante el overlapping. Se descartaron los clips que incluían una o varias de las siguientes características:
Por tanto, el criterio de selección definitivo se ajustó a dos condiciones:
2.4. Muestra final de overlappings para el análisis Del total del material visionado, 3,102 vídeos, se encontraron solamente 235 donde se advirtió el uso de overlappings que se ajustaban a los requerimientos antes mencionados. Por tanto la muestra quedó distribuida por géneros y porcentajes de la siguiente manera.
2.5. Descripción del instrumento de análisis El instrumento elegido para llevar a cabo el análisis es la aplicación informática Sound Forge. Es un software ampliamente extendido a nivel profesional especializado en la edición y tratamiento de sonido. Reproduce archivos de vídeo en diferentes formatos y muestra en tiempo real la representación del sonido mediante un oscilograma. Incluye diferentes herramientas prácticas para seleccionar y medir una porción de imagen y/o sonido, y muestra de manera automática la duración de dicha selección en segundos o cuadros de vídeo. Estas opciones eran suficientes para poder obtener los valores de tiempo de exposición para cada sistema audiovisual, tiempo del overlapping y el cambio de la intensidad del sonido durante el momento de la transición entre sistemas. Los datos recogidos se registraron en una hoja de cálculo donde se anotó de forma individual la información correspondiente con cada una de las cuatro variables seleccionadas para el análisis. 2.6. Procedimiento Para la medición de las variables métricas se empleó el siguiente procedimiento: Variable Nº 1: Duración del segmento Variable Nº 2: Duración del overlapping Variable Nº 4: Variación de la intensidad del sonido 2.6.1. Protocolo estadístico Una vez concluida la recolección de los datos correspondientes a los 235 vídeos seleccionados, se procedió a crear una matriz de datos para el análisis, mediante la aplicación estadística SPSS 14.0. Primeramente, se configuraron y ordenaron las variables seleccionadas. Se asignó a cada una la etiqueta, tipo, valores y medida de la escala, según los indicadores determinados previamente para cada variable. Posteriormente se procedió a llenar cada uno de los campos indicados. Finalmente, la matriz mostró 5 columnas (campos) correspondientes a: Nombre del clip, las 4 variables seleccionadas y 235 filas (registros) correspondientes a cada uno de los vídeos seleccionados. Posteriormente, pasó a revisarse cuidadosamente el llenado de los datos de la matriz antes de proceder a la ejecución y obtención de resultados para evitar la aparición de valores perdidos en el sistema o la inserción incorrecta de los datos debido al volumen de información con la cual se trabajaba. Una vez comprobada la correcta transcripción de los casos y valores para cada una de las variables, se concluyó esta etapa. Finalmente, se procedió a la ejecución de las operaciones estadísticas. Se trabajó con la pestaña de Descriptivos-Frecuencias, para obtener datos independientes para cada una de las variables elegidas. 3. Resultados Variable 1: Duración del segmento En el siguiente diagrama de barras puede apreciarse claramente una importante concentración de los casos analizados en el rango de 0 a 9s (78 casos), el 33% del total, mientras que los restantes, ubicados en el rango de 10 a 58s es inferior a 20.
Variable 2: Duración del overlapping Variable 3: Rangos de duración del overlapping Variable 4: Variación de la intensidad del sonido en el momento del cambio de sistema Respecto del aumento de la intensidad, la cifra más alta se ubica en el valor +2 (Poca variación) con 49 casos que representan un 20,9%, seguida de Variación mediana (+3) con 41 casos equivalentes al 17,4% y en tercer lugar Variación total +5-11,1%, equivalente a 26 casos de la muestra analizada.
4. Conclusiones y discusión Los resultados estadísticos permiten deducir algunos rasgos y constantes que suelen tipificar la forma audiovisual de los overlappings:
Este estudio ha permitido efectuar un primer abordaje del fenómeno comunicativo del overlapping. Se han extraído y medido las unidades correspondientes al segmento y del overlapping. Se han parametrizado los rangos temporales de la asincronía. Finalmente se diseña y aplica una escala para medir la variación de la intensidad del sonido en el momento del cambio entre los sistemas. El estudio confirma que el sonido es una energía dinámica y estructuralmente compleja, enclavada en un sistema perceptivo-significativo, pero que no actúa de forma autónoma. Existen otros momentos al interior del mensaje donde la imagen y el sonido coinciden exactamente y de manera intencional en el tiempo para, mediante una «fusión audiovisual» poder producir representaciones más estables que faciliten el reconocimiento de los elementos determinantes para la comprensión de las historias. Respecto a los intervalos de duración del adelantamiento, se pueden distinguir dos estructuras-efectos que pueden suscitar las siguientes interpretaciones. En la primera: si la desincronización es breve puede añadirse como un segundo componente de estimulación junto con el choque perceptivo. De ser así es posible que pueda provocar un efecto emocional de sorpresa por la aparición de información nueva. Esto puede explicarse porque la disonancia imagen-sonido es muy breve y puede ser insuficiente para crear un conflicto semántico grave que bloquee el efecto emocional producido por el cambio. Segundo, si la desincronización es más prolongada podría afectar negativamente el efecto del impacto emocional, debido a que podría hacer predominar el impacto de la carga disonante, dirigiendo una mayor cantidad de recursos a la búsqueda de una explicación de la naturaleza de la fuente del sonido sin referente visual. En este caso, consideramos que la desincronía podría reducir un eventual efecto emocional provocado por el cambio estimular. No obstante, de acuerdo al estudio muy pocos casos se encuadran dentro de esta segunda estructura, porque se distingue una especie de predominio de la sincronía sobre la franja no sincrónica. Pese a esto, la información obtenida en el presente estudio es prematura para lograr modelar de forma definitiva una estructura sonora y visual del overlapping asociada a intenciones de comunicación. El carácter exploratorio del presente estudio cualitativo registra datos de duración de segmento y overlapping muy diferentes, que por sí solos impiden relacionarlos directamente con una forma concreta de construcción de sentido. Con el fin de obtener nuevas evidencias que correlacionen los rasgos estimulares en el tiempo. En una siguiente fase, podría resultar pertinente incorporar una variable adicional: Intensidad Visual, que se analice de manera comparada con el sonido. La existencia de correlación entre estas dos variables estimulares puede ayudar a constatar empíricamente la presencia de un componente comunicativo directo del binomio imagen-sonido en la construcción del mensaje. Finalmente, de confirmarse dicha correlación, estas variables deberán ser formalizadas, para comprobar si se ajustan a las tipologías propuestas (naturalista y expresionista) y contrastarlas empíricamente con receptores en condiciones controladas por el investigador. 5. Referencias Amiel, V., 2005: Estética del montaje. Madrid, Abada. Benedetti, R., 2004: Creative postproduction: editing, sound, visual effects, and music for film and video. Boston: Pearson Education. |