Ley de Zipf, o la matemática secreta del lenguaje

Hace tiempo queremos repasar un fenómeno curioso de las matemáticas y las lenguas: La ley de Zipf, esa aritmética secreta del lenguaje. En 1949, un profesor de Harvard poco conocido fuera de los círculos de la lingüística estadística publicó un libro con un título tan ambicioso como esquivo: Human Behavior and the Principle of Least Effort. Su autor, George Kingsley Zipf (Freeport, Illinois, 1902 – Newton, Massachusetts, 1950), había pasado dos décadas observando un fenómeno tan simple que resulta casi vergonzoso no haberlo advertido antes: en cualquier texto extenso, la palabra más frecuente aparece aproximadamente el doble de veces que la segunda, el triple que la tercera, y así sucesivamente, en una progresión que dibuja, sobre papel logarítmico, una recta casi perfecta. A esa regularidad la llamamos hoy, con justicia parcial, la ley de Zipf

Digo justicia parcial porque Zipf no fue el primero en advertirla: el estenógrafo francés Jean-Baptiste Estoup y el físico alemán Felix Auerbach ya habían descrito patrones semejantes antes de 1913. Lo que aportó Zipf fue la obstinación filológica de comprobarlo: analizó un corpus de cerca de treinta mil volúmenes en inglés y extendió luego la pesquisa a otras lenguas, a las ciudades por número de habitantes, a los ingresos personales, a la intensidad de los terremotos. Formado en Harvard, Bonn y Berlín, y catedrático de alemán en la propia Harvard, Zipf se definía a sí mismo, con una fórmula que hoy suena casi posmoderna, como "estadístico de la ecología humana".

Su explicación de por qué el lenguaje —y tantos otros sistemas humanos— se comporta así es lo verdaderamente filosófico del asunto. Zipf proponía un "principio del mínimo esfuerzo": hablante y oyente negocian, sin saberlo, un compromiso entre la economía de quien emite el mensaje, que preferiría repetir siempre las mismas pocas palabras, y la economía de quien lo recibe, que necesitaría un vocabulario amplio y preciso para no confundirse. El resultado de ese pulso silencioso es la curva de Zipf: un pequeño núcleo de palabras —artículos, conjunciones, verbos auxiliares— que hace casi todo el trabajo, y una larga cola de vocablos raros que apenas aparecen una vez. Quien recuerde a Spinoza reconocerá en esa economía del esfuerzo un eco lejano del conatus: también el lenguaje, como todo ente, persevera en su ser buscando el camino de menor resistencia.

La ley resultó ser sorprendentemente promiscua. Se cumple, con matices, en el reparto de enlaces entre páginas web, en el ADN no codificante, en el canto de las ballenas y en el entrenamiento de los modelos de lenguaje que hoy escriben junto a nosotros. Años después, Benoît Mandelbrot le dio un fundamento más riguroso desde la teoría de la información de Shannon: la ley de Zipf-Mandelbrot

Pero conviene no dejar a Zipf únicamente en manos de físicos e ingenieros: también la filología vasca se ha medido con su fórmula. Al aplicar la ley de Zipf al euskara, los estudios de corpus confirman la misma distribución general, aunque con fisonomía propia, marcada por la aglutinación, la diglosia histórica y la libertad del orden de palabras: entre los vocablos más repetidos no aparecen sustantivos memorables, sino la trama gramatical casi invisible —eta, ez, zen, zuen, da—, el andamiaje que sostiene cualquier frase sin que nadie repare en él. Bernardo Atxaga ha escrito páginas hermosas sobre esa condición discreta, casi pudorosa, de una lengua que trabaja mucho hacia dentro y poco hacia fuera.

Zipf murió en 1950, apenas un año después de publicar su obra mayor, sin llegar a ver el alcance que tendría su intuición. Queda de él una lección modesta y a la vez inquietante: bajo la aparente libertad de cada frase que pronunciamos se esconde una aritmética silenciosa que gobierna, con la misma mano, el vocabulario de un idioma, el tamaño de las ciudades y la fortuna de los más ricos. Como tantas leyes de la ecología del lenguaje, la de Zipf no explica por qué hablamos como hablamos, pero sí revela, con inquietante precisión matemática, cuánto nos parecemos al hacerlo.

0 comments:

Publicar un comentario