Submitted by Mario BC (mario@bc.ufrpe.br) on 2017-05-15T13:39:11Z
No. of bitstreams: 1
Maelyson Rolim Fonseca dos Santos.pdf: 7542534 bytes, checksum: 8d86996d3992af0946425f4f3b1ceca5 (MD5) / Made available in DSpace on 2017-05-15T13:39:11Z (GMT). No. of bitstreams: 1
Maelyson Rolim Fonseca dos Santos.pdf: 7542534 bytes, checksum: 8d86996d3992af0946425f4f3b1ceca5 (MD5)
Previous issue date: 2014-08-13 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The investigation of the process of evolution and characterization of diferent human
languages has been one of the most active research elds in recent decades. Although the
search for linguistic patterns that can establish a phylogeny of languages is much older,
the statistical characterization of the written language, commonly called quantitative
linguistic, has a newer tradition that relies on the work developed by Claude Shannon
and George Zipf, written at the end of the 1940s. In this work we investigate some
statistical aspects of the frequencies and positions for words in texts and the function of
this quantities into the information contained in written language. Initially we explored
the scaling relationship between the vocabulary V and the text sizes T, called Heaps' Law,
which according to our results is typical for each language. We establish, empirically, a
functional relationship between maximum frequency kmax and the total number of words
in the text. Secondly we analyze morphological features of symbols, obtaining the word
sizes distribution and from its respective entropy. We conclude that this procedure allows
us to categorize diferent linguistic groups. Finally we introduce two models able to
provide universal limiting behaviors to the relationship between standard deviation
and frequency k. The models were designed to describe the behavior of correlated and
uncorrelated words, reproducing various properties of texts as the fraction f of correlated
words and the structural entropy H. All our theoretical results were compared with those
obtained from 500 texts that include wikipedia articles and literary works from various
epochs in 10 languages distributed in three linguistic families: germanic (german, danish,
swedish and english), romanic (spanish, italian, french and portuguese) and uralic ( nnish
and hungarian). / A investigação do processo de evolução e caracterização das diversas linguagens humanas tem sido um dos campos mais ativos de pesquisa nas últimas décadas. Embora a busca por padrões linguísticos que possam estabelecer uma filogenia as línguas seja bem mais antiga, a caracterização estatística da linguagem escrita, comumente denominada linguística quantitativa, possui uma tradição ao mais recente que se apoia nos trabalhos desenvolvidos por George Zipf e Claude Shannon, escritos no final da década de 1940. Nesta disserta c~ao investigamos aspectos frequencistas e espaciais da distribuição de verbetes
em textos e o papel destas quantidades sobre a informação contida em linguagem escrita. Num primeiro momento exploramos a relação de escala entre o vocabulário V e o tamanho dos textos T, denominada Lei de Heaps, que segundo nossos resultados e t pica para cada língua. Estabelecemos empiricamente, uma relação funcional entre a frequência máxima kmax e o número total de palavras do texto T. Num segundo momento analisamos características morfológicas dos símbolos obtendo a distribuição de tamanho P(l) dos verbetes e a partir desta a sua respectiva entropia, concluímos que este procedimento nos permite categorizar diferentes grupos linguísticos. Por m introduzimos dois modelos capazes de fornecer comportamentos limitantes universais, para a relação entre a intermitência e a frequência k dos verbetes. Os modelos foram concebidos de forma a descrever o comportamento de verbetes correlacionados e não correlacionados, reproduzindo diversas propriedades de textos como a fração de verbetes correlacionada
f e a entropia estrutural H. Ao longo de nossa abordagem, todos os nossos resultados teóricos foram comparados com aqueles obtidos de um corpus composto por 500 textos, que incluem artigos da wikipédia e obras literárias de diversas épocas em 10 idiomas distribuídos em três famílias linguísticas: germânica (alemão, dinamarquês, inglês e sueco), latina (espanhol, italiano, francês e português) e urálica (finlandês e húngaro).
| Identifer | oai:union.ndltd.org:IBICT/oai:tede2:tede2/6857 |
| Date | 13 August 2014 |
| Creators | SANTOS, Maelyson Rolim Fonseca dos |
| Contributors | FIGUEIRÊDO, Pedro Hugo de |
| Publisher | Universidade Federal Rural de Pernambuco, Programa de Pós-Graduação em Física Aplicada, UFRPE, Brasil, Departamento de Física |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UFRPE, instname:Universidade Federal Rural de Pernambuco, instacron:UFRPE |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | 2948194971945047520, 600, 600, 600, 600, -748177341945315287, -8327146296503745929, 2075167498588264571 |
Page generated in 0.0023 seconds