Evolución del lenguaje en escritores célebres

Comparamos los primeros y últimos libros de 20 autores

Por Julián Yanover
¿Cómo se comparan los primeros libros de escritores consagrados, publicados en su juventud, con sus últimas obras lanzadas 20, 40 o hasta 60 años más tarde?

Quisimos descubrir si el lenguaje de cada autor, con el devenir del tiempo, veía cambios en el léxico desplegado. Para ello, debíamos encontrar la manera de medir la cantidad y variedad de vocabulario con relación a la totalidad del libro.

¿El vocabulario se enriquece producto de la experiencia? ¿O acaso disminuye?

Con estas preguntas iniciales, comenzamos nuestra investigación haciendo uso de inteligencia artificial y software de procesamiento del lenguaje natural, herramientas nuevas que posibilitan esta tarea, antes impensada.

Esto es lo que encontramos.

Qué analizamos

• 20 autores.
• 40 libros.

Hicimos una selección de 20 de los más grandes autores en español, y tomamos una de sus primeras obras y una de sus últimas en publicarse.

Así, por ejemplo, tomamos a Borges con «Ficciones» (1944) y «El libro de arena» (1975), Gabriel García Márquez con «Cien años de soledad» (1967) y «Memorias de mis putas tristes» (2004), o Almudena Grandes con «Las edades de Lulú» (1989) y «Todo va a mejorar» (2022).

Siempre buscamos el margen de tiempo entre libros más amplio que pudimos conseguir.

Cómo lo analizamos

• Base de datos con 3.103.274 palabras.
• Software de procesamiento del lenguaje natural (PLN) e inteligencia artificial para registrar y unificar palabras similares vía lematización.
• Sistema de puntaje propio para homogeneizar criterios y evaluar la diversidad léxica.

Los libros fueron guardados, palabra por palabra, en una base de datos.

Realizamos la lematización de cada palabra, que implica llevar todas las variantes que una palabra puede tener a su lema base. Por ejemplo, comió, comerá y comen se agrupan bajo el lema comer. Esta técnica es una herramienta del procesamiento del lenguaje natural que permite que el resultado final sea más fidedigno al contar solo los lemas y no todas las variantes de una misma palabra.

Un vistazo a la base de datos con más de 3 millones de palabras almacenadas y procesadas

El primer problema que enfrentamos fue que, en libros más extensos, generalmente había más cantidad de palabras únicas, pero un menor porcentaje de estas con respecto al total. Es natural: en un libro de 100.000 palabras abordaremos más vocablos, pero al mismo tiempo habrá más repetición que en uno de 5.000.

La manera de resolverlo fue encontrada en colaboración con la inteligencia artificial.

La IA nos presentó algunas metodologías posibles, como dividir la cantidad de lemas distintos por la raíz cuadrada del total de palabras del libro, o de igual manera dividirlo por su logaritmo. Sin embargo, aunque el cálculo era menos influenciado por la extensión del libro, seguía siendo afectado por el número total de palabras de cada publicación.

También contemplamos la opción de comparar solamente muestras de igual tamaño de cada texto, pero esto dejaba en algunos casos el 90% del libro fuera del análisis.

Finalmente, tomamos el camino de ventanas móviles. Lo que hicimos fue desarrollar un código que analizó la diversidad del lenguaje de cada libro en fragmentos de 1.000 palabras, y tomó el promedio total de variedad de lemas como resultado para cada obra. Así, todo el libro quedó dentro del análisis, y se redujeron al máximo los factores que distorsionaban los números finales.

De este modo, obtuvimos un puntaje de diversidad léxica para cada libro, en una escala del 1 al 100, donde mientras más alto el puntaje, representa más amplitud del lenguaje utilizado.

El caso de Agatha Christie

En este estudio nos circunscribimos a revisar obras en español, pero el caso de Agatha Christie merece una mención aparte.

Esta escritora de novelas detectivescas fue noticia en 2009 cuando un grupo de investigadores sugirió, tras analizar varias de sus obras y cómo su vocabulario se acotaba en sus libros a medida que envejecía, que debió haber sufrido Alzheimer.

Esta noticia fue la semilla para realizar este artículo.

También fue una oportunidad para ejecutar el código que creamos en dos de sus libros y ver por nosotros mismos si obteníamos algún resultado llamativo, coincidente o no con lo visto por estos investigadores.

Analizamos «El misterioso caso de Styles«, su primera novela de Hércules Poirot publicada en 1920 con 30 años de edad, y «Los elefantes pueden recordar» de 1972, también con el detective Poirot como protagonista, cuando tenía 82 años.

Mientras que «El misterioso caso de Styles» obtuvo un puntaje de diversidad léxica de 84.9, «Los elefantes pueden recordar» que fue publicada 52 años más tarde solo consiguió un puntaje de 67.4, habiendo una diferencia extremadamente amplia de 17 puntos y medio entre ambas.

Como verán en las conclusiones a continuación, en nuestro estudio de 20 autores, las dos mayores diferencias registradas entre las obras de un mismo escritor es de 13 puntos y en ambos casos se trata de un aumento en la variedad del lenguaje con el correr de los años, y no un descenso como en el caso de Christie.

Conclusiones

• 13 autores de los 20 analizados, el 65%, usó más vocabulario en sus últimas obras.
• La extensión de los primeros libros versus los últimos es similar. En 11 autores es más larga su obra más temprana, y en 9 su más reciente.
• El autor con más variación entre obras es Javier Marías, que con su obra «Los dominios del lobo» tuvo un resultado de 78.1 y con «Tomás Nevinson» se elevó hasta 91.7 puntos de diversidad léxica.
• Paulo Coelho es otro caso parecido, ya que obtuvo un puntaje de 73.8 con «El alquimista» (el más bajo de todos los libros estudiados) y subió a 86.9 con «La espía«.
• El autor cuyo puntaje de diversidad léxica más disminuyó con el tiempo fue Carlos Fuentes, en tanto su obra «La región más transparente» superó por casi 10 puntos a «Federico en su balcón«, publicada 54 años más tarde.
• El libro que mayor puntaje obtuvo con 98.4 fue «Te di la vida entera» de Zoé Valdés.

Fue sorpresivo descubrir que la mayoría de los autores utilizaron un vocabulario más variado al final de sus carreras que cuando comenzaron. De los 20 escritores, 13 tuvieron un puntaje más alto de diversidad léxica en sus últimas obras y 7 lo consiguieron en sus primeras, 65% contra 35%.

Gráfico de diversidad léxica

De todos modos, es conveniente aclarar que no creemos que la mayor cantidad de vocabulario y/o menor repetición de palabras, sea equivalente a mayor calidad literaria. Son distintos estilos a la hora de escribir, y es muy interesante agregar el factor tiempo a la ecuación.

No podemos obviar de igual manera, porque se observa a simple vista en el gráfico de barras que aparece debajo, que las obras más trascendentales de casi todos los autores de este análisis vieron la luz tempranamente en sus vidas. Pero eso es para otro artículo, uno en el cual las subjetividades reinarán, los números no contarán y la inteligencia artificial no nos servirá…

Gráfico comparativo final

Tabla de información completa

Acerca de

Julián Yanover es desarrollador web desde hace más de 20 años y es el director de Definicion.de

Definicion.de es un sitio web de carácter enciclopédico, con un enfoque especial en las palabras de nuestro idioma desde su origen en el año 2008.

Con más de 15 años de trabajo, definicion.de sigue ampliando sus contenidos para brindar a sus usuarios información objetiva y de calidad. Conoce más sobre nosotros.