Comparativa: La Regenta lematizada contra Fortunata y Jacinta lematizada

Índice

Información General

Título:La Regenta (lematizado)
Autor:Leopoldo Alas Clarín (lematizado)
Idioma:Castellano (lematizado)
#Palabras total:308922
#Palabras distintas:11595
Type-Token ratio:3.75%
Título:Fortunata y Jacinta (lematizado)
Autor:Benito Pérez Galdós (lematizado)
Idioma:Castellano (lematizado)
#Palabras total:393844
#Palabras distintas:13855
Type-Token ratio:3.52%

Ley de Heaps - Saturación léxica

La Ley de Heaps es una ley empírica que predice el tamaño del vocabulario dado un texto. Esto es, nos da una estimación del número de palabras distintas (v) dado el número total de palabras (n) de que consta el texto, según la fórmula

v = K*n^b

donde b está entre 0 y 1 (habitualmente entre 0.4 y 0.6) y K es una cierta constante, habitualmente entre 10 y 100.

En particular, mayores valores de b se corresponden con vocabularios más grandes, en el sentido de que aumentan rápidamente; mientras que se tienen valores menores de b cuando casi todo el vocabulario aparece al principio y luego se van añadiendo muy pocos términos nuevos (el vocabulario se satura rápidamente).

Regenta_lematFortunata_lemat
#Palabras:#Palabras distintas:
61781747
123562775
185343494
247124048
308904515
370684931
432465286
494245581
556025962
617806210
679586492
741366739
803146963
864927199
926707426
988487629
1050267847
1112048069
1173828260
1235608429
1297388588
1359168723
1420948860
1482729028
1544509169
1606289310
1668069392
1729849533
1791629645
1853409797
1915189922
19769610067
20387410173
21005210285
21623010397
22240810487
22858610622
23476410697
24094210756
24712010858
25329810945
25947611053
26565411159
27183211223
27801011294
28418811353
29036611429
29654411490
30272211534
30890011595
30892211595
#Palabras:#Palabras distintas:
78761911
157522998
236283820
315044491
393805072
472565620
551326092
630086505
708846989
787607392
866367702
945128036
1023888274
1102648653
1181408908
1260169125
1338929345
1417689564
1496449783
1575209971
16539610223
17327210448
18114810618
18902410785
19690010922
20477611069
21265211308
22052811473
22840411609
23628011731
24415611888
25203212012
25990812145
26778412285
27566012398
28353612488
29141212586
29928812702
30716412841
31504012946
32291613054
33079213174
33866813252
34654413345
35442013476
36229613560
37017213626
37804813709
38592413770
39380013854
39384413855
Ajuste por mínimos cuadrados de los datos a K*n^b:
Regenta_lemat Fortunata_lemat
K = 43.718 K = 34.438
b = 0.446 b = 0.471

Ley de Zipf

La ley de Zipf es una ley empírica que se basa en el principio de mínimos esfuerzo. Esto es, supone que existe un pequeño número de palabras, las más "conocidas", que son utilizadas con mucha frecuencia, mientras que hay un gran número de palabras son poco empleadas.

Matemáticamente esto quiere decir que la frecuencia (número de apariciones) de una palabra cualquiera es inversamente proporcional a su ranking, entendido como su posición en una lista de las palabras presentes en el texto ordenada descendentemente en función de su frecuencia.
Así, la palabra más frecuente aparecerá aproximadamente dos veces más que la segunda palabra más frecuente, unas tres veces más que la tercera palabra más frecuente, etc.

Gráficamente, cuando una curva se encuentra por encima de la recta "ideal" quiere decir que el texto emplea recurrentemente un número de palabras muy reducido, habiendo muy pocas que aparezcan con poca frecuencia.
Por el contrario, cuando la curva se encuentra por debajo de la "ideal", el texto contiene un vocabulario más amplio, con muchas palabras que aparecen relativamente pocas veces.

Regenta_lematFortunata_lemat Ilustración del principio de mínimo esfuerzo:
RankPalabraFrec
1el29227
2de19493
3que9866
4a9542
5y9435
6lo7613
7en7123
8se6093
9un5272
10no4979
11ser4157
12su4081
13haber3872
14con3199
15por2872
16pero1908
17aquel1882
18don1791
19todo1770
20como1751
21más1725
22estar1438
23tener1431
24decir1398
25para1365
26si1165
27él1112
28qué1109
29sin1096
30poder1039
31ella1007
32hacer999
33otro944
34ver920
35ya902
36ana896
37saber867
38querer865
39usted806
40ir781
41me774
42magistral769
43este745
44yo696
45dar693
46671
47ni671
48era669
49mucho659
50hablar636
RankPalabraFrec
1el31365
2de20458
3que15596
4y13273
5lo12622
6a11998
7se8317
8no7621
9en7593
10un6609
11ser5091
12su5028
13con4631
14haber4571
15me3613
16por3599
17decir2850
18tener2726
19estar2658
20más2309
21para2266
22como2162
23pero2096
24si2030
25hacer1936
26ver1932
27todo1905
28te1792
29qué1791
30yo1697
31aquel1674
32usted1584
33dar1551
34ir1528
35este1454
36otro1374
37querer1334
38poder1276
39muy1215
40éste1195
41ya1175
42porque1094
43cuando1083
44ella1046
45tan1028
46saber999
47o986
48poner954
49pues903
50mi903
Mostrar todo

Test de Dunning

El test de Dunning sirve para identificar las palabras distintivas de un texto.
En este caso lo utilizaremos para encontrar palabras distintivas de cada uno de los conjuntos que estamos comparando frente al otro.

Fórmula:

- 2 log(lambda) = 2 [ log L(p1,k1,n1)+log L(p2,k2,n2)-log L(p,k1,n1)-log L(p,k2,n2) ]

donde
L(p,k,n) = p^k * (1-p)^(n-k)

con
Para encontrar las palabras distintivas se enfrentará un conjunto (Regenta_lemat) (conjunto 1) contra el otro (Fortunata_lemat) (conjunto 2) y viceversa.

A continuación se muestra una lista de todas las palabras presentes en los textos, ordenadas por su puntuación en la razón de verosimilitud, indicando de cuál de ellos son distintivas. Haga click en la palabra para ver su definición según el diccionario de la RAE.

PalabraRegenta_lemat (308922)Fortunata_lemat (393844)Dunning -2log(lambda)
don1791752407.437
ana89601474.366
me77436131376.319
magistral76921239.709
fortunata08691007.266
te2861792882.742
víctor4900805.932
regenta4680769.729
vetusta4430728.591
jacinta0571661.661
mesía3720611.771
lupe0520602.534
fermín3490573.932
quintanar3040499.904
el2922731365490.005
de1949320458399.475
petra2412375.410
guillermina0320370.719
rubín0313362.607
maxi0304352.177
Mostrar todo