Thesis (M.S.)--Rochester Institute of Technology, 2009. / Typescript. Includes bibliographical references (p. 76-78).

O problema de reconhecimento de expressões matemáticas manuscritas envolve três subproblemas importantes: segmentação de símbolos, reconhecimento de símbolos e análise estrutural de expressões. Para avaliar métodos e técnicas de reconhecimento, eles precisam ser testados sobre conjuntos de amostras representativos do domínio de aplicação. Uma das preocupações que tem sido apontada ultimamente é a quase inexistência de base de dados pública de expressões matemáticas, o que dificulta o desenvolvimento e comparação de diferentes abordagens. Em geral, os resultados de reconhecimento apresentados na literatura restringem-se a conjuntos de dados pequenos, não disponíveis publicamente, e muitas vezes formados por dados que visam avaliar apenas alguns aspectos específicos do reconhecimento. No caso de expressões online, para treinar e testar reconhecedores de símbolos, as amostras são em geral obtidas solicitando-se que as pessoas escrevam uma série de símbolos individualmente e repetidas vezes. Tal tarefa é monótona e cansativa. Uma abordagem alternativa para obter amostras de símbolos seria solicitar aos usuários a transcrição de expressões modelo previamente definidas. Dessa forma, a escrita dos símbolos seria realizada de forma natural, menos monótona, e várias amostras de símbolos poderiam ser obtidas de uma única expressão. Para evitar o trabalho de anotar manualmente cada símbolo das expressões transcritas, este trabalho propõe um método para casamento de expressões matemáticas manuscritas, no qual símbolos de uma expressão transcrita por um usuário são associados aos correspondentes símbolos (previamente identificados) da expressão modelo. O método proposto é baseado em uma formulação que reduz o problema a um problema de associação simples, no qual os custos são definidos em termos de características dos símbolos e estrutura da expressão. Resultados experimentais utilizando o método proposto mostram taxas médias de associação correta superiores a 99%. / The problem of recognizing handwritten mathematical expressions includes three important subproblems: symbol segmentation, symbol recognition, and structural analysis of expressions. In order to evaluate recognition methods and techniques, they should be tested on representative sample sets of the application domain. One of the concerns that are being repeatedly pointed recently is the almost non-existence of public representative datasets of mathematical expressions, which makes difficult the development and comparison of distinct approaches. In general, recognition results reported in the literature are restricted to small datasets, not publicly available, and often consisting of data aiming only evaluation of some specific aspects of the recognition. In the case of online expressions, to train and test symbol recognizers, samples are in general obtained asking users to write a series of symbols individually and repeatedly. Such task is boring and tiring. An alternative approach for obtaining samples of symbols would be to ask users to transcribe previously defined model expressions. By doing so, writing would be more natural and less boring, and several symbol samples could be obtained from one transcription. To avoid the task of manually labeling the symbols of the transcribed expressions, in this work a method for handwritten expression matching, in which symbols of a transcribed expression are assigned to the corresponding ones in the model expression, is proposed. The proposed method is based on a formulation that reduces the matching problem to a linear assignment problem, where costs are defined based on symbol features and expression structure. Experimental results using the proposed method show that mean correct assignment rate superior to 99% is achieved.

O problema de reconhecimento de expressões matemáticas manuscritas envolve três subproblemas importantes: segmentação de símbolos, reconhecimento de símbolos e análise estrutural de expressões. Para avaliar métodos e técnicas de reconhecimento, eles precisam ser testados sobre conjuntos de amostras representativos do domínio de aplicação. Uma das preocupações que tem sido apontada ultimamente é a quase inexistência de base de dados pública de expressões matemáticas, o que dificulta o desenvolvimento e comparação de diferentes abordagens. Em geral, os resultados de reconhecimento apresentados na literatura restringem-se a conjuntos de dados pequenos, não disponíveis publicamente, e muitas vezes formados por dados que visam avaliar apenas alguns aspectos específicos do reconhecimento. No caso de expressões online, para treinar e testar reconhecedores de símbolos, as amostras são em geral obtidas solicitando-se que as pessoas escrevam uma série de símbolos individualmente e repetidas vezes. Tal tarefa é monótona e cansativa. Uma abordagem alternativa para obter amostras de símbolos seria solicitar aos usuários a transcrição de expressões modelo previamente definidas. Dessa forma, a escrita dos símbolos seria realizada de forma natural, menos monótona, e várias amostras de símbolos poderiam ser obtidas de uma única expressão. Para evitar o trabalho de anotar manualmente cada símbolo das expressões transcritas, este trabalho propõe um método para casamento de expressões matemáticas manuscritas, no qual símbolos de uma expressão transcrita por um usuário são associados aos correspondentes símbolos (previamente identificados) da expressão modelo. O método proposto é baseado em uma formulação que reduz o problema a um problema de associação simples, no qual os custos são definidos em termos de características dos símbolos e estrutura da expressão. Resultados experimentais utilizando o método proposto mostram taxas médias de associação correta superiores a 99%. / The problem of recognizing handwritten mathematical expressions includes three important subproblems: symbol segmentation, symbol recognition, and structural analysis of expressions. In order to evaluate recognition methods and techniques, they should be tested on representative sample sets of the application domain. One of the concerns that are being repeatedly pointed recently is the almost non-existence of public representative datasets of mathematical expressions, which makes difficult the development and comparison of distinct approaches. In general, recognition results reported in the literature are restricted to small datasets, not publicly available, and often consisting of data aiming only evaluation of some specific aspects of the recognition. In the case of online expressions, to train and test symbol recognizers, samples are in general obtained asking users to write a series of symbols individually and repeatedly. Such task is boring and tiring. An alternative approach for obtaining samples of symbols would be to ask users to transcribe previously defined model expressions. By doing so, writing would be more natural and less boring, and several symbol samples could be obtained from one transcription. To avoid the task of manually labeling the symbols of the transcribed expressions, in this work a method for handwritten expression matching, in which symbols of a transcribed expression are assigned to the corresponding ones in the model expression, is proposed. The proposed method is based on a formulation that reduces the matching problem to a linear assignment problem, where costs are defined based on symbol features and expression structure. Experimental results using the proposed method show that mean correct assignment rate superior to 99% is achieved.

Text in Afrikaans, abstract in Afrikaans and English / Die gebruik van simbole maak wiskunde eenvoudiger en kragtiger, maar ook moeiliker verstaanbaar. Laasgenoemde kan voorkom word as slegs eenvoudige en noodsaaklike simbole gebruik word, met die verduidelikings en motiverings in woorde. Die krag van simbole le veral in die feit dat simbole as substitute vir konsepte kan dien. Omdat die krag van simbole hierin le, skuil daar 'n groot gevaar in die gebruik van simbole. Wanneer simbole los is van sinvolle verstandsvoorstellings, is daar geen krag in simbole nie. Dit is die geval met die huidige benadering in skoolalgebra. Voordat voldoende verstandsvoorstellings opgebou is, word daar op die manipulasie van simbole gekonsentreer. Die algebraiese historiese-kenteoretiese perspektief maak algebra meer betekenisvol vir leerders. Hiervolgens moet die leerlinge die geleentheid gegun word om oplossings in prosavorm te skryf en self hul eie wiskundige simbole vir idees spontaan in te voer. Hulle moet self die voordeel van algebraiese simbole beleef. / The use of symbols in algebra both simplifies and strengthens the subject, but it also increases its level of complexity.This problem can be prevented if only simple and essential symbols are used and if the explanations are fully verbalised. The power of symbols stems from their potential to be used as substitutes for concepts. As this constitutes the crux of mathematical symbolic representation, it also presents a danger in that the symbols may not be comprehended. If symbols are not related to mental representations, the symbols are meaningless. This is the case in the present approach to algebra. Before sufficient mental representations are built, there is a concentration on the manipulation of symbols. The algebraic historical epistemological perspective makes algebra more meaningful for learners. Learners should be granted the opportunities to write their solutions in prose and to develop their own symbols for concepts. / Mathematics Education / M. Sc. (Wiskunde-Onderwys)

Text in Afrikaans, abstract in Afrikaans and English / Die gebruik van simbole maak wiskunde eenvoudiger en kragtiger, maar ook moeiliker verstaanbaar. Laasgenoemde kan voorkom word as slegs eenvoudige en noodsaaklike simbole gebruik word, met die verduidelikings en motiverings in woorde. Die krag van simbole le veral in die feit dat simbole as substitute vir konsepte kan dien. Omdat die krag van simbole hierin le, skuil daar 'n groot gevaar in die gebruik van simbole. Wanneer simbole los is van sinvolle verstandsvoorstellings, is daar geen krag in simbole nie. Dit is die geval met die huidige benadering in skoolalgebra. Voordat voldoende verstandsvoorstellings opgebou is, word daar op die manipulasie van simbole gekonsentreer. Die algebraiese historiese-kenteoretiese perspektief maak algebra meer betekenisvol vir leerders. Hiervolgens moet die leerlinge die geleentheid gegun word om oplossings in prosavorm te skryf en self hul eie wiskundige simbole vir idees spontaan in te voer. Hulle moet self die voordeel van algebraiese simbole beleef. / The use of symbols in algebra both simplifies and strengthens the subject, but it also increases its level of complexity.This problem can be prevented if only simple and essential symbols are used and if the explanations are fully verbalised. The power of symbols stems from their potential to be used as substitutes for concepts. As this constitutes the crux of mathematical symbolic representation, it also presents a danger in that the symbols may not be comprehended. If symbols are not related to mental representations, the symbols are meaningless. This is the case in the present approach to algebra. Before sufficient mental representations are built, there is a concentration on the manipulation of symbols. The algebraic historical epistemological perspective makes algebra more meaningful for learners. Learners should be granted the opportunities to write their solutions in prose and to develop their own symbols for concepts. / Mathematics Education / M. Sc. (Wiskunde-Onderwys)

Um importante problema na área de reconhecimento de padrões é o reconhecimento de textos manuscritos. O problema de reconhecimento de expressões matemáticas manuscritas é um caso particular, que vem sendo tratado por décadas. Esse problema é considerado desafiador devido à grande quantidade de possíveis tipos de símbolos, às variações intrínsecas da escrita, e ao complexo arranjo bidimensional dos símbolos na expressão. Neste trabalho adotamos o problema de reconhecimento de símbolos matemáticos manuscritos para realizar um estudo empírico sobre o comportamento de classificadores multi-classes. Examinamos métodos básicos de aprendizado para classificação multi-classe, especialmente as abordagens um-contra-todos e todos-contra-todos de decomposição de um problema multi-classe em problemas de classificação binária. Para decompor o problema em subproblemas menores, propomos também uma abordagem que utiliza uma árvore de decisão para dividir hierarquicamente o conjunto de dados, de modo que cada subconjunto resultante corresponda a um problema mais simples de classificação. Esses métodos são examinados usando-se como classificador base os modelos de classificação vizinhos-mais-próximos e máquinas de suporte vetorial (usando a abordagem um-contra-todos para combinar os classificadores binários). Para classificação, os símbolos são representados por um conjunto de características conhecido na literatura por HBF49 e que foi proposto recentemente especificamente para problemas de reconhecimento de símbolos on-line. Experimentos foram realizados para avaliar a acurácia dos classificadores, o desempenho dos classificadores para número crescente de classes, tempos de treinamento e teste, e uso de diferentes sub-conjuntos de características. Este trabalho inclui uma descrição dos fundamentos utilizados, detalhes do pré-processamento e extração de características para representação dos símbolos, e uma exposição e discussão sobre o estudo empírico realizado. Os dados adicionais que foram coletados para os experimentos serão publicamente disponibilizados. / An important problem in the eld of Pattern Recognition is handwriting recognition. The problem of handwritten mathematical expression recognition is a particular case that is being studied since decades. This is considered a challenging problem due to the large number of possible mathematical symbols, the intrinsic variation of handwriting, and the complex 2D arrangement of symbols within expressions. In this work we adopt the problem of recognition of online mathematical symbols in order to perform an empirical study on the behavior of multi-class classiers. We examine basic methods for multi-class classification, specially the one-versus-all and all-versus-all approaches for decomposing multi-class problems into a set of binary classification problems. To decompose the problem into smaller ones, we also propose an approach that uses a decision tree to hierarchically divide the whole dataset into subsets, in such a way that each subset corresponds to a simpler classification problem. These methods are examined using the k-nearest-neighbor and, accompanied by the oneversus-all approach, the support vector machine models as base classiers. For classification, symbols are represented through a set of features known in the literature as HBF49 and which has been proposed recently specially for the problem of recognition of online symbols. Experiments were performed in order to evaluate classier accuracy, the performance of the classiers as the number of classes are increased, training and testing time, and the use of dierent subsets of the whole set of features. This work includes a description of the needed background, details of the pre-processing and feature extraction techniques for symbol representation, and an exposition and discussion of the empirical studies performed. The data additionally collected for the experiments will be made publicly available.

Syftet med denna empiriska studie är att undersöka hur lärare kan erbjuda möjligheter för 6-åringar att vidga sin förståelse av likhetstecknets innebörd. Undersökningen är inspirerad av Learning Study metoden vilket är en metod som har sin utgångspunkt i variationsteorin. Barnens initiala förmågor analyseras före planeringen av undervisningen och det ger en uppfattning om barnens kunskaper. Utifrån det planeras lektionerna och de aspekter som är de mest kritiska för barnen lyfts och på så sätt utvecklas deras kunskap. Vår slutsats är att det är viktigt att arbeta utifrån ett variationsinriktat lärandeperspektiv. Barnen lyckas bra i de uppgifter där de får laborera med konkret material. / The purpose of this empirical study is to examine how teachers can provide opportunities for children aged 6 to extend their understanding of the equal sign. This study is inspired by the Learning Study method which is a method that has its origins in variation theory.  By analyzing the children's initial abilities before planning our lessons, it gives us an idea of the children's knowledge. From there the lessons are planned and the aspects that are the most critical for the children are lifted and thereby develop their knowledge. Our conclusion is that it is important to work with variety oriented learning. The children are successful in tasks in which they are allowed to experiment with concrete materials.

Um importante problema na área de reconhecimento de padrões é o reconhecimento de textos manuscritos. O problema de reconhecimento de expressões matemáticas manuscritas é um caso particular, que vem sendo tratado por décadas. Esse problema é considerado desafiador devido à grande quantidade de possíveis tipos de símbolos, às variações intrínsecas da escrita, e ao complexo arranjo bidimensional dos símbolos na expressão. Neste trabalho adotamos o problema de reconhecimento de símbolos matemáticos manuscritos para realizar um estudo empírico sobre o comportamento de classificadores multi-classes. Examinamos métodos básicos de aprendizado para classificação multi-classe, especialmente as abordagens um-contra-todos e todos-contra-todos de decomposição de um problema multi-classe em problemas de classificação binária. Para decompor o problema em subproblemas menores, propomos também uma abordagem que utiliza uma árvore de decisão para dividir hierarquicamente o conjunto de dados, de modo que cada subconjunto resultante corresponda a um problema mais simples de classificação. Esses métodos são examinados usando-se como classificador base os modelos de classificação vizinhos-mais-próximos e máquinas de suporte vetorial (usando a abordagem um-contra-todos para combinar os classificadores binários). Para classificação, os símbolos são representados por um conjunto de características conhecido na literatura por HBF49 e que foi proposto recentemente especificamente para problemas de reconhecimento de símbolos on-line. Experimentos foram realizados para avaliar a acurácia dos classificadores, o desempenho dos classificadores para número crescente de classes, tempos de treinamento e teste, e uso de diferentes sub-conjuntos de características. Este trabalho inclui uma descrição dos fundamentos utilizados, detalhes do pré-processamento e extração de características para representação dos símbolos, e uma exposição e discussão sobre o estudo empírico realizado. Os dados adicionais que foram coletados para os experimentos serão publicamente disponibilizados. / An important problem in the eld of Pattern Recognition is handwriting recognition. The problem of handwritten mathematical expression recognition is a particular case that is being studied since decades. This is considered a challenging problem due to the large number of possible mathematical symbols, the intrinsic variation of handwriting, and the complex 2D arrangement of symbols within expressions. In this work we adopt the problem of recognition of online mathematical symbols in order to perform an empirical study on the behavior of multi-class classiers. We examine basic methods for multi-class classification, specially the one-versus-all and all-versus-all approaches for decomposing multi-class problems into a set of binary classification problems. To decompose the problem into smaller ones, we also propose an approach that uses a decision tree to hierarchically divide the whole dataset into subsets, in such a way that each subset corresponds to a simpler classification problem. These methods are examined using the k-nearest-neighbor and, accompanied by the oneversus-all approach, the support vector machine models as base classiers. For classification, symbols are represented through a set of features known in the literature as HBF49 and which has been proposed recently specially for the problem of recognition of online symbols. Experiments were performed in order to evaluate classier accuracy, the performance of the classiers as the number of classes are increased, training and testing time, and the use of dierent subsets of the whole set of features. This work includes a description of the needed background, details of the pre-processing and feature extraction techniques for symbol representation, and an exposition and discussion of the empirical studies performed. The data additionally collected for the experiments will be made publicly available.

Uppsatsens syfte är att kartlägga vilka lässtrategier som uppgifter i matematiska läroböcker kräver av eleverna för att de ska kunna skapa förståelse för uppgiften. Kartläggningen kommer ske i en svensk kontext med utgångspunkt i tre olika läromedel, ett från mellanstadiet, ett från högstadiet och ett från gymnasiet. De delar som i tidigare forskning visat kunna påverka elevernas läsförståelse och därmed kommer undersökas djupare är modaliteten bild, matematiska symboler samt språk med fokus på nominaliseringar. Metoden är uppdelad i tre delar, en för varje modalitet, trots detta liknar de varandra men de har olika utgångspunkter. I alla tre delar räknas belägg av de olika modaliteterna och det undersöks vilka typer av kopplingar som finns mellan dem i texten. Resultatet visar att användningen av bilder och symboler varierar mycket mellan olika delkapitel medan det är svårare att dra en liknande slutsats gällande nominaliseringar. Användningen varierar också mellan läromedlen. Slutsatserna av uppsatsen är att det framförallt krävs två tydliga lässtrategier, en där eleverna ser till texten och uppgifterna i sin helhet eftersom alla delar påverkar förståelsen, och en där eleverna har en strategi som passar dem själva för att förstå nominaliseringarna som kan vara svårförstådda. / The purpose of the essay is to examine which reading strategies mathematical textbooks demand of students for them to understand the tasks. The survey will be done in a Swedish perspective and take point from three different textbooks, one from middle school, one from high school and one from upper secondary high school. Previous research has shown three areas that can impact students’ ability to understand mathematical texts: nominalizations, pictures, and mathematical symbols. These three areas are the ones going to be examined in this essay. The method of the survey is divided in to three different parts since there are three different areas that are going to be examined. Despite this the methods are similar to each other. All three areas are examined by counting the amount of the occurrence. All three areas are also examined by investigating what kind of connections that exists in the text. The result shows that the occurrence of pictures and symbols differs between different chapters, but it cannot be seen in nominalizations. The usage of the different modalities also differs between the textbooks. The conclusion of the essay is that students’ need two kind of reading strategies, the first one is that they need to understand that all parts create the meaning of a text and the second one is that they need to create their own strategy to deal with nominalizations that can be difficult to understand.

Symboler har alltid varit en viktig del av matematik, därför är det inte konstigt att kunskaperom symbolspråket behövs för att uppnå en full förståelse av ämnet. Den här studiensyftar därför på att utreda användningen av det symboliska språket i den svenska gymnasialaundervisningen ur ett språkvetenskapligt perspektiv. Empirin till det här arbetetbestår av 52 elevlösningar till ett test i matematik samt transkribering av en parintervju.Det insamlade materialet har analyserats utifrån teorier om den metalingvistiska medvetenhetensamt symbolernas semiotiska och epistemologiska funktioner. Det matematiskasymbolspråkets roll i styrdokumenten har också belysts i det här arbetet. Från elevernasfel i testet var det möjligt att åskådliggöra vikten av den metalingvistiska medvetenhetenoch den semiotiska medlingen i algebrainlärningen. Slutligen blev det även tydligt att detmatematiska symbolspråket behöver en mer explicit roll i den svenska matematikundervisningen. / Symbols have always been an important part of mathematics, which is why learning thesymbolic language is necessary in order to acquire a full understanding of the subject.This study aims to investigate the use of the symbolic language in the Swedish uppersecondary school from a linguistic perspective. The data for this study consists of samplesfrom 52 student solutions from a mathematical test, together with one transcribed groupinterview, where two students participated. The analysis is based on theories about themetalinguistic awareness and symbols’ semiotic and epistemological functions. The roleof the mathematical symbolic language described in the steering documents has also beenconsidered in the study. From the mistakes made in the test, it was possible to visualisethe importance of the metalinguistic awareness and the semiotic mediation in algebralearning. In the end, it also became clear that the mathematical symbolic language needsa more explicit role in the Swedish mathematics education.