Often there is a need to establish and understand the structure of multidimensional data: their clusters, outliers, similarity and dissimilarity. One of solution ways is a dimensionality reduction and visualization of the data. If a huge datasets is analyzed, it is purposeful to reduce the number of the data items before visualization. The area of research is reduction of the number of the data analyzed and mapping the data in a plane. In the dissertation, vector quantization methods, based on artificial neural networks, and visualization methods, based on a dimensionality reduction, have been investigated. The consecutive and integrated combinations of neural gas and multidimensional scaling have been proposed here as an alternative to combinations of self-organizing maps and multidimensional scaling. The visualization quality is estimated by König’s topology preservation measure, Spearman’s rho and MDS error. The measures allow us to evaluate the similarity preservation quantitatively after a transformation of multidimensional data into a lower dimension space. The ways of selecting the initial values of two-dimensional vectors in the consecutive combination and the first training block of the integrated combination have been proposed and the ways of assigning the initial values of two-dimensional vectors in all the training blocks, except the first one, of the integrated combination have been developed. The dependence of the quantization error on the values of training... [to full text] / Dažnai iškyla būtinybė nustatyti ir giliau pažinti daugiamačių duomenų struktūrą: susidariusius klasterius, itin išsiskiriančius objektus, objektų tarpusavio panašumą ir skirtingumą. Vienas iš sprendimų būdų – duomenų dimensijos mažinimas ir jų vizualizavimas. Kai analizuojamos didelės duomenų aibės, tikslinga prieš vizualizavimą sumažinti ne tik dimensiją, bet ir duomenų skaičių. Šio darbo tyrimų sritis yra daugiamačių duomenų skaičiaus mažinimas ir duomenų atvaizdavimas plokštumoje. Disertacijoje nagrinėjami dirbtiniais neuroniniais tinklais grindžiami vektorių kvantavimo ir dimensijos mažinimu pagrįsti vizualizavimo metodai. Kaip alternatyva saviorganizuojančių neuroninių tinklų ir daugiamačių skalių junginiams, darbe pasiūlyti nuoseklus neuroninių dujų ir daugiamačių skalių junginys bei integruotas, atsižvelgiantis į neuroninių dujų metodo mokymosi eigą ir leidžiantis gauti tikslesnę daugiamačių vektorių projekciją plokštumoje. Junginiais gautų vaizdų kokybės vertinimui pasirinkti Konigo matas, Spirmano koeficientas bei MDS paklaida. Šie matai leidžia kiekybiškai įvertinti panašumų išlaikymą po daugiamačių duomenų transformavimo į mažesnės dimensijos erdvę. Taip pat pasiūlyti dvimačių vektorių pradinių koordinačių parinkimo būdai nuosekliame junginyje ir integruoto junginio pirmame mokymo bloke bei koordinačių reikšmių priskyrimo būdai integruoto junginio kituose mokymo blokuose. Eksperimentiškai nustatyta kvantavimo paklaidos priklausomybė nuo neuroninių dujų tinklo... [toliau žr. visą tekstą]

Dažnai iškyla būtinybė nustatyti ir giliau pažinti daugiamačių duomenų struktūrą: susidariusius klasterius, itin išsiskiriančius objektus, objektų tarpusavio panašumą ir skirtingumą. Vienas iš sprendimų būdų – duomenų dimensijos mažinimas ir jų vizualizavimas. Kai analizuojamos didelės duomenų aibės, tikslinga prieš vizualizavimą sumažinti ne tik dimensiją, bet ir duomenų skaičių. Šio darbo tyrimų sritis yra daugiamačių duomenų skaičiaus mažinimas ir duomenų atvaizdavimas plokštumoje. Disertacijoje nagrinėjami dirbtiniais neuroniniais tinklais grindžiami vektorių kvantavimo ir dimensijos mažinimu pagrįsti vizualizavimo metodai. Kaip alternatyva saviorganizuojančių neuroninių tinklų ir daugiamačių skalių junginiams, darbe pasiūlyti nuoseklus neuroninių dujų ir daugiamačių skalių junginys bei integruotas, atsižvelgiantis į neuroninių dujų metodo mokymosi eigą ir leidžiantis gauti tikslesnę daugiamačių vektorių projekciją plokštumoje. Junginiais gautų vaizdų kokybės vertinimui pasirinkti Konigo matas, Spirmano koeficientas bei MDS paklaida. Šie matai leidžia kiekybiškai įvertinti panašumų išlaikymą po daugiamačių duomenų transformavimo į mažesnės dimensijos erdvę. Taip pat pasiūlyti dvimačių vektorių pradinių koordinačių parinkimo būdai nuosekliame junginyje ir integruoto junginio pirmame mokymo bloke bei koordinačių reikšmių priskyrimo būdai integruoto junginio kituose mokymo blokuose. Eksperimentiškai nustatyta kvantavimo paklaidos priklausomybė nuo neuroninių dujų tinklo... [toliau žr. visą tekstą] / Often there is a need to establish and understand the structure of multidimensional data: their clusters, outliers, similarity and dissimilarity. One of solution ways is a dimensionality reduction and visualization of the data. If a huge datasets is analyzed, it is purposeful to reduce the number of the data items before visualization. The area of research is reduction of the number of the data analyzed and mapping the data in a plane. In the dissertation, vector quantization methods, based on artificial neural networks, and visualization methods, based on a dimensionality reduction, have been investigated. The consecutive and integrated combinations of neural gas and multidimensional scaling have been proposed here as an alternative to combinations of self-organizing maps and multidimensional scaling. The visualization quality is estimated by König’s topology preservation measure, Spearman’s rho and MDS error. The measures allow us to evaluate the similarity preservation quantitatively after a transformation of multidimensional data into a lower dimension space. The ways of selecting the initial values of two-dimensional vectors in the consecutive combination and the first training block of the integrated combination have been proposed and the ways of assigning the initial values of two-dimensional vectors in all the training blocks, except the first one, of the integrated combination have been developed. The dependence of the quantization error on the values of training... [to full text]

Pagrindinis darbo tikslas – atlikti kelių tiesioginio sklidimo neuroninių tinklų sistemų lyginamąją analizę siekiant įvertinti jų funkcionalumą. Šiame darbe apžvelgiama: biologinio ir dirbtinio neuronų modeliai, neuroninių tinklų klasifikacija pagal jungimo konstrukciją (tiesioginio sklidimo ir rekurentiniai neuroniniai tinklai), dirbtinių neuroninių tinklų mokymo strategijos (mokymas su mokytoju, mokymas be mokytojo, hibridinis mokymas). Analizuojami pagrindiniai tiesioginio sklidimo neuroninių tinklų metodai: vienasluoksnis perceptronas, daugiasluoksnis perceptronas realizuotas „klaidos skleidimo atgal” algoritmu, radialinių bazinių funkcijų neuroninis tinklas. Buvo nagrinėjama 14 skirtingų tiesioginio sklidimo neuroninių tinklų sistemos. Programos buvo suklasifikuotos pagal kainą, tiesioginio sklidimo neuroninių tinklo mokymo metodų taikymą, galimybę vartotojui keisti parametrus prieš apmokant tinklą ir techninį programos įvertinimą. Programos buvo įvertintos dešimtbalėje vertinimo sistemoje pagal mokymo metodų įvairumą, parametrų keitimo galimybes, programos stabilumą, kokybę, bei kainos ir kokybės santykį. Aukščiausiu balu įvertinta „Matlab” programa (10 balų), o prasčiausiai – „Sharky NN” (2 balai). Detalesnei analizei pasirinktos keturios programos („Matlab“, „DTREG“, „PathFinder“, „Cortex“), kurios buvo įvertintos aukščiausiais balais, galėjo apmokyti tiesioginio sklidimo neuroninį tinklą daugiasluoksnio perceptrono metodu ir bent dvi radialinių bazinių funkcijų... [toliau žr. visą tekstą] / The main aim – to perform a comparative analysis of several feedforward neural system networks in order to identify its functionality. The work presents both: biological and artificial neural models, also classification of neural networks, according to connections’ construction (of feedforward and recurrent neural networks), studying strategies of artificial neural networks (with a trainer, without a trainer, hybrid). The main methods of feedforward neural networks: one-layer perceptron, multilayer perceptron, implemented upon “error feedback” algorithm, also a neural network of radial base functions have been considered. The work has included 14 different feedforward neural system networks, classified according its price, application of study methods of feedforward neural networks, also a customer’s possibility to change parameters before paying for the network and a technical evaluation of a program. The programs have been evaluated from 1 point to 10 points according to the following: variety of training systems, possibility to change parameters, stability, quality and ratio of price and quality. The highest evaluation has been awarded to “Matlab” (10 points), the lowest – to “Sharky NN” (2 points). Four programs (”Matlab“, “DTREG“, “PathFinder“,”Cortex“) have been selected for a detail analysis. The best evaluated programs have been able to train feedforward neural networks using multilayer perceptron method, also at least two radial base function networks. “Matlab“ and... [to full text]

Šiame darbe nagrinėjama smegenų – kompiuterio sąsajos (BCI) sistema. Taip pat dirbtinių neuroninių tinklų ir atsitiktinių miškų klasifikavimo algoritmų panaudojimas smegenų – kompiuterio sąsajos sistemose. Realizuotas smegenų – kompiuterio sąsajos prototipas. Šis prototipas leidžia valdyti kompiuterio pelę, naudojant elektroencefalogramos arba elektromiogramos skaitytuvą. Atliktas kompiuterio pelės valdymo, naudojant smegenų – kompiuterio sistemą, tyrimas, vykdant praktines užduotis. Rezultatai palyginti su įprastu būdu valdoma kompiuterio pele. Tyrime naudotas OCZ NIA elektroencefalogramos ir elektromiogramos signalų skaitytuvas. Palyginta kuris iš naudotų klasifikavimo algoritmų pasiekia didžiausią tikslumą. Padarytos išvados apie smegenų – kompiuterio sąsajos sistemos prototipo privalumus ir trūkumus. / This work analyzes the brain – computer interface (BCI) system. Also artificial neural networks and random forest classification algorithms are used in brain – computer interface systems. A prototype of the brain – computer interface was developed. The prototype lets you control your mouse using electromyogram or electroencephalogram reader. In this work, the practical tasks carried out mouse control study using a brain – computer interface. The results were compared with the normal – controlled computer mouse. The study used OCZ NIA electroencephalogram and electromyogram signal reader. Compared which of the used algorithms achieves the highest accuracy. The conclusions were drawn about the BCI prototype.

Previous works on classification committees have shown that an efficient committee should consist of networks that are not only very accurate, but also diverse. In this work, aiming to explore trade-off between the diversity and accuracy of committee networks, the steps of neural network training, aggregation of the networks into a committee, and elimination of irrelevant input variables are integrated. To accomplish the elimination, an additional term to the Negative correlation learning error function, which forces input weights connected to the irrelevant input variables to decay, is added.

Šio darbo tyrimų sritis yra duomenų tyryba remiantis daugiamačių duomenų vizualia analize. Tai leidžia tyrėjui betarpiškai dalyvauti duomenų analizės procese, geriau pažinti sudėtingus duomenis ir priimti geriausius sprendimus. Disertacijos tikslas yra sukurti metodą tokios duomenų projekcijos radimui plokštumoje, kad tyrėjas galėtų pamatyti ir įvertinti daugiamačių taškų tarpgrupinius panašumus/skirtingumus. Šiam tikslui pasiekti yra pasiūlytas radialinių bazinių funkcijų ir daugiasluoksnio perceptrono, turinčio ,,butelio kaklelio“ neuroninio tinklo savybes, junginys. Naujas tinklas naudojamas vizualiai daugiamačių duomenų analizei, kai atidėjimui plokštumoje arba trimatėje erdvėje taškai gaunami paskutinio paslėpto neuronų sluoksnio išėjimuose, kai į tinklo įėjimą paduodami daugiamačiai duomenys. Šio tinklo ypatybė yra ta, kad gautas vaizdas plokštumoje labiau atspindi bendrą duomenų struktūrą (klasteriai, klasterių tarpusavio artumas, taškų tarpklasterinis panašumas) nei daugiamačių taškų tarpusavio išsidėstymą. / The area of research is data mining based on multidimensional data visual analysis. This allows researcher to participate in the process of data analysis directly, to understand the complex data better and to make the best decisions. The objective of the dissertation is to create a method for making a multidimensional data projection on the plane such that the researcher could see and assess the intergroup similarities and differences of multidimensional points. In order to achieve the target, a new hybrid neural network is proposed and investigated. This neural network integrates the ideas both of the radial basis function neural network and that of a multilayer perceptron, which has the properties of a ''bottleneck'' neural network. The new network is used for the visual analysis of multidimensional data in such a way that the output values of the neurons of the last hidden layer are the two-dimensional or three-dimensional projections of the multidimensional data, when the multidimensional data is given to the network. A peculiarity of the network is that the visualization results on the plane reflect the general structure of the data (clusters, proximity between clusters, intergroup similarities of points) rather than the location of multidimensional points.

The area of research is data mining based on multidimensional data visual analysis. This allows researcher to participate in the process of data analysis directly, to understand the complex data better and to make the best decisions. The objective of the dissertation is to create a method for making a multidimensional data projection on the plane such that the researcher could see and assess the intergroup similarities and differences of multidimensional points. In order to achieve the target, a new hybrid neural network is proposed and investigated. This neural network integrates the ideas both of the radial basis function neural network and that of a multilayer perceptron, which has the properties of a ''bottleneck'' neural network. The new network is used for the visual analysis of multidimensional data in such a way that the output values of the neurons of the last hidden layer are the two-dimensional or three-dimensional projections of the multidimensional data, when the multidimensional data is given to the network. A peculiarity of the network is that the visualization results on the plane reflect the general structure of the data (clusters, proximity between clusters, intergroup similarities of points) rather than the location of multidimensional points. / Šio darbo tyrimų sritis yra duomenų tyryba remiantis daugiamačių duomenų vizualia analize. Tai leidžia tyrėjui betarpiškai dalyvauti duomenų analizės procese, geriau pažinti sudėtingus duomenis ir priimti geriausius sprendimus. Disertacijos tikslas yra sukurti metodą tokios duomenų projekcijos radimui plokštumoje, kad tyrėjas galėtų pamatyti ir įvertinti daugiamačių taškų tarpgrupinius panašumus/skirtingumus. Šiam tikslui pasiekti yra pasiūlytas radialinių bazinių funkcijų ir daugiasluoksnio perceptrono, turinčio ,,butelio kaklelio“ neuroninio tinklo savybes, junginys. Naujas tinklas naudojamas vizualiai daugiamačių duomenų analizei, kai atidėjimui plokštumoje arba trimatėje erdvėje taškai gaunami paskutinio paslėpto neuronų sluoksnio išėjimuose, kai į tinklo įėjimą paduodami daugiamačiai duomenys. Šio tinklo ypatybė yra ta, kad gautas vaizdas plokštumoje labiau atspindi bendrą duomenų struktūrą (klasteriai, klasterių tarpusavio artumas, taškų tarpklasterinis panašumas) nei daugiamačių taškų tarpusavio išsidėstymą.