Este trabalho apresenta uma nova abordagem para a modelagem e resolução de problemas de fluxo de carga em sistemas elétricos de potência. O modelo proposto é formado simultaneamente pelo conjunto de equações não lineares que representam as restrições de carga do problema e por restrições de complementaridade associadas com as restrições de operação da rede, as quais propiciam o controle implícito das tensões nas barras com controle de geração. Também é proposta uma técnica para a obtenção dos valores discretos dos taps de tranformadores, de maneira que o ajuste dessas variáveis possa ser realizado em passos discretos. A metodologia desenvolvida consiste em tratar o sistema misto de equações e inequações não lineares como um problema de factibilidade não linear e transformá-lo em um problema de mínimos quadrados não lineares, o qual é resolvido por uma sequência de subproblemas linearizados dentro de uma região de confiança. Para a obtenção de soluções aproximadas desse subproblema foi adotado o método do gradiente conjugado de Steihaug, combinando estratégias de região de confiança e filtros multidimensionais para analisar a qualidade das soluções fornecidas. Foram realizados testes numéricos com os sistemas de 14, 30, 57, 118 e 300 barras do IEEE, e com um sistema brasileiro equivalente CESP 53 barras, os quais indicaram boa flexibilidade e robustez do método proposto. / This work presents a new approach to the load flow problem in electrical power systems and develops a methodology for its resolution. The proposed model is simultaneously composed by nonlinear equations and inequations which represent the load and operational restrictions of the system, where a set of complementarity constraints model the relationship between voltage and reactive power generation in controled buses. It is also proposed a new technique to obtaining a discrete solution for the transformer taps, allowing their discrete adjustment. The method developed treats the mixed system of equations and inequations of the load flow problem as a nonlinear feasibility problem and converts it in a nonlinear least squares problem, which is solved by minimizing a sequence of linearized subproblems, whitin a trust region. To obtain approximate solutions at every iteration, we use the Steihaug conjugate gradient method, combining trust region and multidimensional filters techniques to analyse the quality of the provided solution. Numerical results using 14, 30, 57, 118 and 300-bus IEEE power systems, and a real brazilian equivalent system CESP 53-bus, indicate the flexibility and robustness of the proposed method.

Wireless communication systems require advanced techniques at the transmitter and at the receiver that improve the performance in hostile radio environments. The received signal is significantly distorted due to the dynamic nature of the wireless channel caused by multipath fading and Doppler spread. In order to mitigate the negative impact of the channel to the received signal quality, techniques as equalization and diversity are usually employed in the system design. During the transmission, the phenomenon of inter-symbol interference (ISI) occurs at the receiver due to the time dispersion of the involved channels. Hence, several delayed replicas of previous symbols interfere with the current symbol. Equalization is usually employed in order to combat the effect of the ISI. Several implementations for equalization filters have been proposed, including linear and non-linear processing, providing complexity-performance trade-offs. It is known that the length of the equalization filter determines the complexity of the technique. Since the wireless channels are characterized by long and sparse impulse responses, the conventional equalizers require high computational complexity due to the large size of their filters. In this dissertation, we have further investigated the long standing problem of equalization in light of the recently derived theory of compressed sampling (CS) for sparse and redundant representations. The developed heuristic algorithms for equalization, can exploit either the sparsity of the channel impulse response (CIR), or the sparsity of the equalizer filters, in order to derive efficient implementation designs. To this end, building on basis pursuit and matching pursuit techniques new equalization schemes have been proposed that exhibit considerable computational savings, increased performance properties and short training sequence requirements. Our main contribution for this part is the Stochastic Gradient Pursuit algorithm for sparse adaptive equalization. An alternative approach to combat ISI is based on the orthogonal frequency division multiplexing (OFDM) system. In this system, the entire channel is divided into many narrow subchannels, so as the transmitted signals to be orthogonal to each other, despite their spectral overlap. However, in the case of doubly selective channels, the Doppler effect destroys the orthogonality between subcarriers. Thus, similarly to ISI, the effect of intercarrier interference (ICI) is introduced at the receiver, where symbols which belong to other subcarriers interfere with the current one. Considering this problem, we have developed iterative algorithms which recursively cancels the ICI at the receiver, providing performance-complexity trade-offs. For low or medium Doppler spreads, the typical approach is to approximate the frequency-domain channel matrix with a banded one. On this premise, we derived reduced-rank preconditioned conjugate gradient (PCG) algorithms in order to estimate the equalization matrix with a reduced number of iterations. Also developed an improved PCG algorithm with the same complexity order, using the Galerkin projections theory. However, in rapidly changing environments, a severe ICI is introduced and the banded approximation results in significant performance degradation. In order to recover this performance loss, we developed regularized estimation framework for ICI equalization, with linear complexity with respect the the number of the subcarriers. Moreover, we proposed a new equalization technique which has the potential to completely cancel the ICI. This approach works in a successive manner through a number of stages, conveying from the fully-connected ordered successive interference cancellation architecture (OSIC) in order to fully suppress the residual interference at each stage of the equalizer. On the other hand, diversity can improve the performance of the communication system by sending the information symbols through multiple signal paths, each of which fades independently. One approach to obtain diversity is through cooperative transmission, considering a group of nearby terminals (relays) as forming one virtual antenna array and applying a spatial beamforming technique so as to optimize the communication via them. Such beamforming techniques differ from their classical counterparts where the array elements are located in a common processing unit, due to the distribution of the relays in the space. In this setting, we developed new distributed algorithms which enable the relay cooperation for the computation of the beamforming weights leveraging the computational abilities of the relays. Each relay can estimate only the corresponding entry of the principal eigenvector, combining data from its network neighbours. The proposed algorithms are applied to two distributed beamforming schemes for relay networks. In the first scheme, the beamforming vector is computed through minimization of a total transmit power subject to the receiver quality-of-service (QoS) constraint. In the second scheme, the beamforming weights are obtained through maximization of the receiver SNR subject to a total transmit power constraint. Moreover, the proposed algorithms operate blindly, implying that no training data are required to be transmitted to the relays, and adaptively, exhibiting a quite short convergence period. / Τα συστήματα ασύρματων επικοινωνιών απαιτούν εξειδικευμένες τεχνικές στον πομπό και στον δέκτη, οι οποίες να βελτιώνουν την απόδοση του συστήματος σε εχθρικά περιβάλλοντα ασύρματης μετάδοσης. Λόγω της δυναμικής φύσης του ασύρματου καναλιού, που περιγράφεται από τα φαινόμενα της απόσβεσης, της πολυδιόδευσης και του Doppler, το λαμβανόμενο σήμα είναι παραμορφωμένο σε σημαντικό βαθμό. Για να αναιρέσουμε αυτήν την αρνητική επίδραση του καναλιού στην ποιότητα του λαμβανόμενου σήματος, κατά τον σχεδιασμό του συστήματος συνήθως υιοθετούνται τεχνικές όπως η ισοστάθμιση και η ποικιλομορφία. Ένα φαινόμενο που προκύπτει στο δέκτη ενός ασύρματου συστήματος επικοινωνίας, λόγω της χρονικής διασποράς που παρουσιάζουν τα κανάλια, είναι η διασυμβολική παρεμβολή, όπου χρονικά καθυστερημένα αντίγραφα προηγούμενων συμβόλων παρεμβάλουν με το τρέχων σύμβολο. Ένας τρόπος για την αντιμετώπιση του φαινομένου αυτού, είναι μέσω της ισοστάθμισης στο δέκτη, όπου χρησιμοποιώντας γραμμικές και μη-γραμμικές τεχνικές επεξεργασίας, τα μεταδιδόμενα σύμβολα ανιχνεύονται από το ληφθέν σήμα. Ωστόσο, συνήθως τα ασύρματα κανάλια χαρακτηρίζονται από κρουστικές αποκρούσεις μεγάλου μήκους αλλά λίγων μη μηδενικών συντελεστών, και σε αυτήν την περίπτωση η υπολογιστική πολυπλοκότητα των συνήθων τεχνικών είναι πολύ υψηλή. Στα πλαίσια αυτής της διατριβής, αναπτύχθηκαν νέοι ευριστικοί αλγόριθμοι για το πρόβλημα της ισοστάθμισης, οι οποίοι εκμεταλλεύονται είτε την αραιότητα της κρουστικής απόκρισης είναι την αραιότητα του αντιστρόφου φίλτρου, προκειμένου να παραχθούν αποδοτικές υλοποιήσεις. Θεωρώντας τον μη γραμμικό ισοσταθμιστή ανατροφοδότησης-απόφασης, έχει δειχθεί ότι κάτω από συνήθεις υποθέσεις για τους συντελεστές της κρουστικής απόκρισης του καναλιού, το εμπρόσθιο φίλτρο και το φίλτρο ανατροφοδότησης μπορούν να αναπαρασταθούν από αραιά διανύσματα. Για τον σκοπό αυτό, τεχνικές Συμπιεσμένης Καταγραφής, οι οποίες έχουν χρησιμοποιηθεί κατα κόρον σε προβλήματα ταυτοποίησης συστήματος, μπορούν να βελτιώσουν σε μεγάλο βαθμό την απόδοση κλασσικών ισοσταθμιστών που δεν λαμβάνουν υπόψιν τους την αραιότητα των διανυσμάτων. Έχοντας ως βάση τις τεχνικές basis pursuit και matching pursuit, αναπτύχθηκαν νέα σχήματα ισοσταθμιστών τα οποία παρουσιάζουν αξιοσημείωτη μείωση στο υπολογιστικό κόστος. Επίσης, αντίθετα με τη συνήθη πρακτική ταυτοποίησης συστήματος, αναπτύχθηκε νέος ευριστικό αλγόριθμος για το πρόβλημα αραιής προσαρμοστικής ισοστάθμισης, με την ονομασία Stochastic Gradient Pursuit. Επιπλέον, ο αλγόριθμος αυτός επεκτάθηκε και για την περίπτωση όπου ο αριθμός των μη μηδενικών στοιχείων του ισοσταθμιστή είναι άγνωστος. Μία διαφορετική προσέγγιση για την αντιμετώπιση του φαινομένου της διασυμβολικής παρεμβολής είναι μέσω του συστήματος orthogonal frequency-division multiplexing (OFDM), όπου το συνολικό κανάλι χωρίζεται σε πολλά στενά υπο-κανάλια, με τέτοιον τρόπο ώστε τα μεταδιδόμενα σήματα να είναι ορθογώνια μεταξύ τους, παρότι παρουσιάζουν φασματική επικάλυψη. Ωστόσο, σε χρονικά και συχνοτικά επιλεκτικά κανάλια, το φαινόμενο Doppler καταστρέφει την ορθογωνιότητα των υπο-καναλιών. Σε αυτήν την περίπτωση, παρόμοια με το φαινόμενο της διασυμβολικής παρεμβολής, εμφανίζεται το φαινόμενο της διακαναλικής παρεμβολής, όπου τα σύμβολα που ανήκουν σε διαφορετικά υπο-κανάλια παρεμβάλουν στο τρέχον. Θεωρώντας αυτό το πρόβλημα, αναπτύχθηκαν νέα σχήματα ισοστάθμισης που ακυρώνουν διαδοχικά την παρεμβολή αυτή, παρέχοντας έναν συμβιβασμό μεταξύ της απόδοσης και της πολυπλοκότητας. Στις περιπτώσεις όπου το φαινόμενο Doppler δεν είναι τόσο ισχυρό, η συνήθης τακτική είναι η προσέγγιση του πίνακα του καναλιού με έναν πίνακα ζώνης. Με αυτό το σκεπτικό, αναπτύχθηκαν αλγόριθμοι μειωμένης τάξης που βασίζονται στην επαναληπτική μέθοδο preconditioned conjugate gradient (PCG), προκειμένου να εκτιμήσουμε τον πίνακα ισοστάθμισης με έναν μειωμένο αριθμό επαναλήψεων. Επίσης, αναπτύχθηκαν τεχνικές που βασίζονται σε προβολές Galerkin για την βελτίωση της απόδοσης των συστημάτων χωρίς να αυξάνουν σημαντικά την πολυπλοκότητα. Ωστόσο, για τις περιπτώσεις όπου το φαινόμενο Doppler έχει ισχυρή επίδραση στο δέκτη του τηλεπικοινωνιακού συστήματος, όπως στις περιπτώσεις πολύ δυναμικών καναλιών, τότε η προσέγγιση με τον πίνακα ζώνης μειώνει σημαντικά την απόδοση του συστήματος. Με στόχο να ανακτήσουμε την απώλεια αυτή, αναπτύχθηκαν τεχνικές κανονικοποιημένης εκτίμησης, με γραμμική πολυπλοκότητα σε σχέση με τον αριθμό των υπο-καναλιών. Επιπρόσθετα, αναπτύχθηκε ένα νέο σχήμα ισοστάθμισης που έχει την δυνατότητα να ακυρώσει πλήρως την διακαναλική παρεμβολή. Το συγκεκριμένο σχήμα λειτουργεί βασιζόμενο σε έναν αριθμό διαδοχικών σταδίων, ακολουθώντας την φιλοσοφία της αρχιτεκτονικής fully-connected ordered successive interference cancellation (OSIC), με στόχο να μειώσει την εναπομείναντα παρεμβολή σε κάθε στάδιο του ισοσταθμιστή Η απόδοση ενός τηλεπικοινωνιακού συστήματος μπορεί επίσης να βελτιωθεί με την χρήση τεχνικών ποικιλομορφίας, δηλαδή με την μετάδοση των συμβόλων μέσω πολλών ανεξάρτητων μονοπατιών. Μία τεχνική ποικιλομορφίας είναι η συνεργατική μετάδοση, όπου μία ομάδα κοντινών τερματικών (relays) σχηματίζουν μία εικονική συστοιχία κεραιών και τεχνικές διαμόρφωσης λοβού μετάδοσης χρησιμοποιούνται προκειμένου να βελτιστοποιηθεί η επικοινωνία μέσω των τερματικών. Οι συγκεκριμένες τεχνικές διαμόρφωσης λοβού μετάδοσης, διαφέρουν από τις κλασσικές όπου η συστοιχία κεραιών βρίσκεται τοποθετημένη σε έναν κόμβο, καθώς τα τερματικά κατανέμονται στον χώρο. Υπό αυτές τις συνθήκες, αναπτύχθηκαν κατανεμημένοι αλγόριθμοι οι οποίοι εκμεταλλεύονται την επικοινωνία και τις υπολογιστικές δυνατότητες των τερματικών για τον υπολογισμό των συνιστωσών του διανύσματος διαμόρφωσης λοβού μετάδοσης. Κάθε τερματικό εκτιμά μόνο την αντίστοιχη συνιστώσα από το κύριο ιδιοδιάνυσμα, συνδιάζοντας δεδομένα από τα γειτονικά τερματικά. Οι προτεινόμενοι αλγόριθμοι εφαρμόστηκαν σε δύο σχήματα κατανεμημένης μετάδοσης μέσω ενδιάμεσων κόμβων. Στο πρώτο σχήμα, τα βάρη του διανύσματος διαμόρφωσης λοβού μετάδοσης υπολογίστηκαν με βάση την ελαχιστοποίηση της συνολικής ισχύος μετάδοσης υπό τον περιορισμό συγκεκριμένου κατωφλίου για την ποιότητα του λαμβανόμενου σήματος. Στο δεύτερο σχήμα, υπολογίστηκαν μεγιστοποιώντας την ποιότητα του λαμβανόμενου σήματος υπό τον περιορισμό ενός κατωφλίου για την συνολική ισχύ μετάδοσης. Επιπλέον, οι αλγόριθμοι που αναπτύχθηκαν λειτουργούν τυφλά, δηλαδή χωρίς φάση εκπαίδευσης, και προσαρμοστικά με μικρό διάστημα σύγκλισης.

Τα ασύρματα συστήματα πολλαπλών κεραιών MIMO αποτελούν ένα από τα βασικά μέτωπα ανάπτυξης των τηλεπικοινωνιών. Ωστόσο η εξαιρετικά τυχαία φύση τους καθώς και η αλληλεπίδραση μεταξύ των πολλαπλών ροών δεδομένων επιβάλει την χρήση σύγχρονων τεχνικών ισοστάθμισης. Η προσαρμοστική ισοστάθμιση στο δέκτη ενός τηλεπικοινωνιακού συστήματος χρησιμοποιείται για την αντιμετώπιση της δυναμικής φύσης του ασύρματου καναλιού και την ανίχνευση των αλλαγών στα χαρακτηριστικά του. Επίσης, μη γραμμικές τεχνικές ισοστάθμισης ανατροφοδότησης συμβόλων είναι απαραίτητες για την απομάκρυνση της διασυμβολικής παρεμβολής που παρουσιάζεται στα συγκεκριμένα συστήματα. Η παρούσα εργασία ασχολείται με μεθόδους προσαρμοστικής ισοστάθμισης στο δέκτη ενός τηλεπικοινωνιακού συστήματος. Διακρίνουμε τις εξής περιπτώσεις προσαρμοστικών αλγορίθμων για την ελαχιστοποίηση του σφάλματος, του αλγορίθμου Αναδρομικών Ελαχίστων Τετραγώνων (RLS), του επαναληπτικού αλγορίθμου Συζυγών Κλίσεων (CG) και του επαναληπτικού αλγορίθμου τροποποιημένων Συζυγών Κλίσεων (MCG). Όπως διαπιστώνουμε, όταν οι παραπάνω αλγόριθμοι χρησιμοποιηθούν με γραμμικές τεχνικές ισοστάθμισης έχουμε πολύ αργή σύγκλιση και γενικά υψηλό όριο σφάλματος. Συμπεραίνουμε λοιπόν ότι, προκειμένου να έχουμε γρήγορη σύγκλιση των προσαρμοστικών αλγορίθμων και αντιμετώπιση της διασυμβολικής παρεμβολής για τα συστήματα MIMO, είναι απαραίτητη η χρήση μη γραμμικών τεχνικών ισοστάθμισης. Αρχικά χρησιμοποιούμε την μέθοδο της γενικευμένης ανατροφοδότησης συμβόλων GDFE ενώ στη συνέχεια μελετάμε μία σύγχρονη τεχνική ανατροφοδότησης συμβόλων που χρησιμοποιεί ένα κριτήριο διάταξης για την ακύρωση των συμβόλων (OSIC ή V-BLAST). Όπως διαπιστώνεται και από τις εξομοιώσεις η συγκεκριμένη τεχνική επιτυγχάνει το χαμηλότερο όριο σφάλματος, αλλά με αυξημένο υπολογιστικό κόστος. Επίσης, διαπιστώνουμε ότι η εφαρμογή της τεχνικής αυτής με χρήση του τροποποιημένου αλγορίθμου Συζυγών Κλίσεων δεν είναι εφικτή. Στα πλαίσια αυτής της εργασίας, περιγράφουμε μια συγκεκριμένη υλοποίηση της τεχνικής διατεταγμένης ακύρωσης που κάνει χρήση του αλγορίθμου Αναδρομικών Ελαχίστων Τετραγώνων με μειωμένη πολυπλοκότητα. Στη συνέχεια γενικεύουμε την εφαρμογή της για την περίπτωση των αλγορίθμων Συζυγών Κλίσεων, και διαπιστώνουμε ότι ο τροποποιημένος αλγόριθμος Συζυγών Κλίσεων δεν μπορεί να χρησιμοποιηθεί ούτε σε αυτήν την περίπτωση. Για την υλοποίηση ενός συστήματος OSIC με χρήση του αλγορίθμου Συζυγών Κλίσεων είναι απαραίτητη η χρήση ενός αλγορίθμου που δεν έχει χρονική εξάρτηση σύγκλισης, όπως είναι ο βασικός αλγόριθμος Συζυγών Κλίσεων. / Wireless systems with multiple antenna configurations has recently emerged as one of the most significant technical breaktroughs in modern communications. However, because of the extremly random nature of the wireless channels, we have to use modern equalization methods in order to defeat the signal degradation. Adaptive equalization at the receiver of the telecommunication system can be used to compete this dynamic nature of the wireless channel and track the changes of its characteristics. Furthermore, nonlinear decision feedback methods are nessesary for the cancellation of the intersymbol interference which occurs with these systems. This work involves with adaptive equalization methods at the receiver of the telecommunication system. We use the following adaptive algorithms so as to minimize the error : the Recursive Least Squares algorithm (RLS), the iterative Conjugate Gradient algorithm (CG) and the iterative Modified Conjugate Gradient algorithm (MCG). When these algorithms are used with linear methods, they give very slow converge and high final error. So, it is neccessary to use nonlinear equalization methods in order to succeed fast converge rate and deal with the increazed intersymbol interference for MIMO systems. Firstly we use the generalized decision feedback method (GDFE), and then the modern method of ordered successive cancellation method (OSIC or V-BLAST). Based on the emulations we conclude that the last method succeed the lower error, but with high computational cost. Furthermore, we can't use OSIC method with Modified Conjugate Gradient algorithm. In this work, we describe a specific implementation of the OSIC method which uses RLS algorithm with low computational complexity. So we generalize its usage with the Conjugate Gradient algorithms. Finaly, we conclude that we can't also use MCG with OSIC method with low computational complexity. In order to construct an OSIC system based on Conjugate Gradient algorithm, the algorithm must not operate on time basis, like basic Conjugate Gradient algorithm does.

Η χρήση επαναληπτικών τεχνικών προσαρμοστικής ισοστάθμισης διαύλου αποτελεί μια σχετικά πρόσφατη και πολλά υποσχόμενη μέθοδο αντιμετώπισης του φαινομένου της διασυμβολικής παρεμβολής που εισάγεται από το κανάλι λόγω του φαινομένου της πολυδιόδευσης. Ο αλγόριθμος που έχει επικρατήσει στις περισσότερες προσαρμοστικές εφαρμογές είναι ο ελαχίστων μέσων τετραγώνων (LMS). Διακρίνεται για την απλότητά του, έχει όμως φτωχές ιδιότητες σύγκλισης. Η μέθοδος των αναδρομικών ελαχίστων τετραγώνων (RLS) είναι επίσης αρκετά διαδεδομένη και κατέχει υπερέχουσες ιδιότητες σύγκλισης. Ωστόσο παρουσιάζει μεγάλη υπολογιστική πολυπλοκότητα και αυξημένες απαιτήσεις σε μνήμη. Στα πλαίσια της εργασίας αυτής εγίνε μια προσπάθεια ανάλυσης των τεχνικών που βασίζονται στη μέθοδο των συζυγών παραγώγων (Conjugate Gradient), χρησιμοποιούνται σε προβλήματα προσαρμοστικού φιλτραρίσματος και πιο ειδικά στο πρόβλημα της προσαρμοστικής ισοστάθμισης διαύλου. Οι τεχνικές αυτές επεξεργάζονται τα δεδομένα και ανά μπλοκ. Είναι ικανές να παρέχουν ιδιότητες σύγκλισης συγκρίσιμες με αυτές της (RLS) μεθόδου, εισάγοντας υπολογιστική πολυπλοκότητα ενδιάμεσων απαιτήσεων μεταξύ των μεθόδων LMS και RLS χωρίς να παρουσιάζουν προβλήματα αριθμητικής ευστάθειας. / The use of iteration methods for adaptive equalization has received considerable attention during the past several decades. The Least Mean Squares (LMS) method, which has found widespread use owing to its simplicity, has poor convergence properties. The Recursive Least Squares (RLS) method possess superior convergence properties, but it is computationally intensive and has high storage requirements for matrix manipulations. In this MSc thesis the technique of conjugate gradients is applied for the adaptive filtering problem. Conjugate gradient algorithms for adaptive filtering applications suitable for efficient implementation has been developed and has been applied for the design of an adaptive transversal equalizer. Low cost block algorithms using the preconditioned conjugate gradient method are also discussed. The algorithms are capable of providing convergence comparable to RLS schemes at a computational complexity between the LMS and the RLS methods and does not suffer from any known instability problems.

There are several algorithms for solving the linear system of equations that arise from the finite element method with linear or near-linear computational complexity. One way is to find an approximation of the stiffness matrix that is such that it can be used in a preconditioned conjugate residual method, that is, a preconditioner to the stiffness matrix. We have studied two preconditioners for the conjugate residual method, both based on writing the stiffness matrix in block form, factorising it and then approximating the Schur complement block to get a preconditioner. We have studied the stationary reaction-diffusion-advection equation in two dimensions. The mesh is refined adaptively, giving a hierarchy of meshes. In the first method the Schur complement is approximated by the stiffness matrix at one coarser level of the mesh, in the second method it is approximated as the assembly of local Schur complements corresponding to macro triangles. For two levels the theoretical bound of the condition number is 1/(1-C²) for either method, where C is the Cauchy-Bunyakovsky-Schwarz constant. For multiple levels there is less theory. For the first method it is known that the condition number of the preconditioned stiffness matrix is O(l²), where l is the number of levels of the preconditioner, or, equivalently, the number mesh refinements. For the second method the asymptotic behaviour is not known theoretically. In neither case is the dependency of the condition number of C known. We have tested both methods on several problems and found the first method to always give a better condition number, except for very few levels. For all tested problems, using the first method it seems that the condition number is O(l), in fact it is typically not larger than Cl. For the second method the growth seems to be superlinear.

Η παρούσα διδακτορική διατριβή πραγματεύεται το θέμα της εκπαίδευσης εμπρόσθιων τροφοδοτούμενων τεχνητών νευρωνικών δικτύων και τις εφαρμογές τους. Η παρουσίαση των θεμάτων και των αποτελεσμάτων της διατριβής οργανώνεται ως εξής: Στο Κεφάλαιο 1 παρουσιάζονται τα τεχνητά νευρωνικά δίκτυα , τα οφέλη της χρήσης τους, η δομή και η λειτουργία τους. Πιο συγκεκριμένα, παρουσιάζεται πως από τους βιολογικούς νευρώνες μοντελοποιούνται οι τεχνητοί νευρώνες, που αποτελούν το θεμελιώδες στοιχείο των τεχνητών νευρωνικών δικτύων. Στη συνέχεια αναφέρονται οι βασικές αρχιτεκτονικές των εμπρόσθιων τροφοδοτούμενων τεχνητών νευρωνικών δικτύων. Το κεφάλαιο ολοκληρώνεται με μια ιστορική αναδρομή για τα τεχνητά νευρωνικά δίκτυα και με την παρουσίαση κάποιων εφαρμογών τους. Στο Κεφάλαιο 2 παρουσιάζονται μερικοί από τους υπάρχοντες αλγορίθμους εκπαίδευσης τεχνητών νευρωνικών δικτύων. Γίνεται μια περιληπτική αναφορά του προβλήματος της εκπαίδευσης των τεχνητών νευρωνικών δικτύων με επίβλεψη και δίνεται η μαθηματική μοντελοποίηση που αντιστοιχεί στην ελαχιστοποίηση του κόστους. Στην συνέχεια γίνεται μια περιληπτική αναφορά στις μεθόδους που βασίζονται στην κατεύθυνση της πιο απότομης καθόδου, στις μεθόδους δευτέρας τάξεως όπου απαιτείται ο υπολογισμός του Εσσιανού πίνακα της συνάρτησης κόστους, στις μεθόδους μεταβλητής μετρικής, και στις μεθόδους συζυγών κλίσεων. Κατόπιν, παρουσιάζεται ο χώρος των βαρών, η επιφάνεια σφάλματος και οι διάφορες τεχνικές αρχικοποίησης των βαρών των τεχνητών νευρωνικών δικτύων και περιγράφονται οι επιπτώσεις που έχουν στην εκπαίδευση τους. Στο Κεφάλαιο 3 παρουσιάζεται ένας νέος αλγόριθμος εκπαίδευσης τεχνητών νευρωνικών δικτύων βασισμένος στον αλγόριθμο της οπισθοδιάδοσης του σφάλματος και στην αυτόματη προσαρμογή του ρυθμού εκπαίδευσης χρησιμοποιώντας πληροφορία δυο σημείων. Η κατεύθυνση αναζήτησης του νέου αλγορίθμου είναι η κατεύθυνση της πιο απότομης καθόδου, αλλά για τον προσδιορισμό του ρυθμού εκπαίδευσης χρησιμοποιούνται προσεγγίσεις δυο σημείων της εξίσωσης χορδής των μεθόδων ψεύδο-Newton. Επιπλέον, παράγεται ένας νέος ρυθμός εκπαίδευσης προσεγγίζοντας την νέα εξίσωση χορδής, που προτάθηκε από τον Zhang, η οποία χρησιμοποιεί πληροφορία παραγώγων και συναρτησιακών τιμών. Στη συνέχεια, ένας κατάλληλος μηχανισμός επιλογής του ρυθμού εκπαίδευσης ενσωματώνεται στον αλγόριθμο εκπαίδευσης ώστε να επιλέγεται κάθε φορά ο κατάλληλος ρυθμός εκπαίδευσης. Τέλος, γίνεται μελέτη της σύγκλισης του αλγορίθμου εκπαίδευσης και παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Στο Κεφάλαιο 4 παρουσιάζονται μερικοί αποτελεσματικοί αλγόριθμοι εκπαίδευσης οι οποίοι βασίζονται στις μεθόδους βελτιστοποίησης συζυγών κλίσεων. Στους υπάρχοντες αλγόριθμους εκπαίδευσης συζυγών κλίσεων προστίθεται ένας αλγόριθμος εκπαίδευσης που βασίζεται στη μέθοδο συζυγών κλίσεων του Perry. Επιπρόσθετα, προτείνονται νέοι αλγόριθμοι συζυγών κλίσεων που προκύπτουν από τις ίδιες αρχές που προέρχονται οι γνωστοί αλγόριθμοι συζυγών κλίσεων των Hestenes-Stiefel, Fletcher-Reeves, Polak-Ribiere και Perry, και ονομάζονται κλιμακωτοί αλγόριθμοι συζυγών κλίσεων. Αυτή η κατηγορία αλγορίθμων βασίζεται στην φασματική παράμετρο κλιμάκωσης του προτάθηκε από τους Barzilai και Borwein. Επιπλέον, ενσωματώνεται στους αλγόριθμους εκπαίδευσης συζυγών κλίσεων μια αποδοτική τεχνική γραμμικής αναζήτησης, που βασίζεται στις συνθήκες του Wolfe και στην διασφαλισμένη κυβική παρεμβολή. Ακόμη, η παράμετρος του αρχικού ρυθμού εκπαίδευσης προσαρμόζεται αυτόματα σε κάθε επανάληψη σύμφωνα με ένα κλειστό τύπο. Στη συνέχεια, εφαρμόζεται μια αποτελεσματική διαδικασία επανεκκίνησης, έτσι ώστε να βελτιωθούν περαιτέρω οι αλγόριθμοι εκπαίδευσης συζυγών κλίσεων και να αποδειχθεί η ολική τους σύγκλιση. Τέλος, παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Στο τελευταίο Κεφάλαιο της παρούσας διδακτορικής διατριβής, απομονώνεται και τροποποιείται ο κλιμακωτός αλγόριθμος του Perry, που παρουσιάστηκε στο προηγούμενο κεφάλαιο. Πιο συγκεκριμένα, ενώ διατηρούνται τα κύρια χαρακτηριστικά του αλγορίθμου εκπαίδευσης, εφαρμόζεται μια διαφορετική τεχνική γραμμικής αναζήτησης η οποία βασίζεται στις μη μονότονες συνθήκες του Wolfe. Επίσης προτείνεται ένας νέος αρχικός ρυθμός εκπαίδευσης για χρήση με τον κλιμακωτό αλγόριθμο εκπαίδευσης συζυγών κλίσεων, ο οποίος φαίνεται να είναι αποδοτικότερος από τον αρχικό ρυθμό εκπαίδευσης που προτάθηκε από τον Shanno όταν χρησιμοποιείται σε συνδυασμό με την μη μονότονη τεχνική γραμμικής αναζήτησης. Στη συνέχεια παρουσιάζονται τα πειραματικά αποτελέσματα για διάφορα προβλήματα εκπαίδευσης. Τέλος, ως εφαρμογή εκπαιδεύεται ένα πολυεπίπεδο εμπρόσθια τροφοδοτούμενο τεχνητό νευρωνικό δίκτυο με τον προτεινόμενο αλγόριθμο για το πρόβλημα της ταξινόμησης καρκινικών κυττάρων του εγκεφάλου και συγκρίνεται η απόδοση του με την απόδοση ενός πιθανοτικού τεχνητού νευρωνικού δικτύου. Η διατριβή ολοκληρώνεται με το Παράρτημα Α’, όπου παρουσιάζονται τα προβλήματα εκπαίδευσης τεχνητών νευρωνικών δικτύων που χρησιμοποιήθηκαν για την αξιολόγηση των προτεινόμενων αλγορίθμων εκπαίδευσης. / In this dissertation the problem of the training of feedforward artificial neural networks and its applications are considered. The presentation of the topics and the results are organized as follows: In the first chapter, the artificial neural networks are introduced. Initially, the benefits of the use of artificial neural networks are presented. In the sequence, the structure and their functionality are presented. More specifically, the derivation of the artificial neurons from the biological ones is presented followed by the presentation of the architecture of the feedforward neural networks. The historical notes and the use of neural networks in real world problems are concluding the first chapter. In Chapter 2, the existing training algorithms for the feedforward neural networks are considered. First, a summary of the training problem and its mathematical formulation, that corresponds to the uncostrained minimization of a cost function, are given. In the sequence, training algorithms based on the steepest descent, Newton, variable metric and conjugate gradient methods are presented. Furthermore, the weight space, the error surface and the techniques of the initialization of the weights are described. Their influence in the training procedure is discussed. In Chapter 3, a new training algorithm for feedforward neural networks based on the backpropagation algorithm and the automatic two-point step size (learning rate) is presented. The algorithm uses the steepest descent search direction while the learning rate parameter is calculated by minimizing the standard secant equation. Furthermore, a new learning rate parameter is derived by minimizing the modified secant equation introduced by Zhang, that uses both gradient and function value information. In the sequece a switching mechanism is incorporated into the algorithm so that the appropriate stepsize to be chosen according to the status of the current iterative point. Finaly, the global convergence of the proposed algorithm is studied and the results of some numerical experiments are presented. In Chapter 4, some efficient training algorithms, based on conjugate gradient optimization methods, are presented. In addition to the existing conjugate gradient training algorithms, we introduce Perry's conjugate gradient method as a training algorithm. Furthermore, a new class of conjugate gradient methods is proposed, called self-scaled conjugate gradient methods, which are derived from the principles of Hestenes-Stiefel, Fletcher-Reeves, Polak-Ribiere and Perry's method. This class is based on the spectral scaling parameter. Furthermore, we incorporate to the conjugate gradient training algorithms an efficient line search technique based on the Wolfe conditions and on safeguarded cubic interpolation. In addition, the initial learning rate parameter, fed to the line search technique, was automatically adapted at each iteration by a closed formula. Finally, an efficient restarting procedure was employed in order to further improve the effectiveness of the conjugate gradient training algorithms and prove their global convergence. Experimental results show that, in general, the new class of methods can perform better with a much lower computational cost and better success performance. In the last chapter of this dissertation, the Perry's self-scaled conjugate gradient training algorithm that was presented in the previous chapter was isolated and modified. More specifically, the main characteristics of the training algorithm were maintained but in this case a different line search strategy based on the nonmonotone Wolfe conditions was utilized. Furthermore, a new initial learning rate parameter was introduced for use in conjunction with the self-scaled conjugate gradient training algorithm that seems to be more effective from the initial learning rate parameter, proposed by Shanno, when used with the nonmonotone line search technique. In the sequence the experimental results for differrent training problems are presented. Finally, a feedforward neural network with the proposed algorithm for the problem of brain astrocytomas grading was trained and compared the results with those achieved by a probabilistic neural network. The dissertation is concluded with the Appendix A', where the training problems used for the evaluation of the proposed training algorithms are presented.

Este trabalho apresenta um método de reconstrução de imagens de ultrassom por problemas inversos que tem como penalidade para o erro entre solução e dados a norma L2, ou euclidiana, e como penalidade de regularização a norma L1. A motivação para o uso da regularização L1 é que se trata de um tipo de regularização promotora de esparsidade na solução. A esparsidade da regularização L1 contorna o problema de excesso do artefatos, observado em outras implementações de reconstrução por problemas inversos em ultrassom. Este problema é consequência principalmente da limitação da representação discreta do objeto contínuo no modelo de aquisição. Por conta desta limitação, objetos refletores na área imageada quase sempre localizam-se em posições que não correspondem precisamente a uma das posições do modelo discreto, gerando dados que não correspondem aos dados modelados. As formulações do problema com regularização L2 e com regularização L1 são apresentadas e comparadas dos pontos de vista geométrico e Bayesiano. O algoritmo de otimização proposto é uma implementação do algoritmo Iteratively Reweighted Least Squares (IRLS) e utiliza o método do Gradiente Conjugado (CG - Conjugate Gradient) a cada iteração, sendo chamado de IRLS-CG. São realizadas simulações com phantoms computacionais que mostram que o método permite reconstruir imagens a partir da aquisição de dados com refletores em posições não modeladas sem a observação de artefatos. As simulações também mostram melhor resolução espacial do método proposto com relação ao algoritmo delay-and-sum (DAS). Também se observou melhor desempenho computacional do CG com relação à matriz inversa nas iterações do IRLS. / This work presents an inverse problem based method for ultrasound image reconstruction which uses the L2-norm (or euclidean norm) as a penalty for the error between the data and the solution, and the L1-norm as a regularization penalty. The motivation for the use of of L1 regularization is the sparsity promoting property of this type of regularization. The sparsity of L1 regularization circumvents the problem of excess of artifatcts that is observed in other approaches of inverse problem based reconstrucion in ultrasound. Such problem is mainly a consequence of the limitation in the discrete representation of a continuous object in the acquisition model. Due to this limitation, reflecting objects in the imaged area are often localized in positions that do not correspond precisely to one of the positions in the discrete model, therefore generating data that do not correspond to the model data. The formulations of the problem with L2 regularization and with L1 regularization are presented and compared in geometric and Bayesian terms. The optimization algorithm proposed is an implementation of Iteratively Reweighted Least Squares (IRLS) and uses the Conjugate Gradient (CG) method inside each iteration, thus being called IRLS-CG. Simulations with computer phantoms are realized showing that the proposed method allows for the reconstruction of images, without observable artifacts, from data with reflectors located in non-modeled positions. Simulations also show a better spatial resolution in the proposed method when compared to the delay-and-sum (DAS) algorithm. It was also observed better computational performance of CG when compared to the matrix inversion in the iterations of IRLS.

Este trabalho apresenta um método de reconstrução de imagens de ultrassom por problemas inversos que tem como penalidade para o erro entre solução e dados a norma L2, ou euclidiana, e como penalidade de regularização a norma L1. A motivação para o uso da regularização L1 é que se trata de um tipo de regularização promotora de esparsidade na solução. A esparsidade da regularização L1 contorna o problema de excesso do artefatos, observado em outras implementações de reconstrução por problemas inversos em ultrassom. Este problema é consequência principalmente da limitação da representação discreta do objeto contínuo no modelo de aquisição. Por conta desta limitação, objetos refletores na área imageada quase sempre localizam-se em posições que não correspondem precisamente a uma das posições do modelo discreto, gerando dados que não correspondem aos dados modelados. As formulações do problema com regularização L2 e com regularização L1 são apresentadas e comparadas dos pontos de vista geométrico e Bayesiano. O algoritmo de otimização proposto é uma implementação do algoritmo Iteratively Reweighted Least Squares (IRLS) e utiliza o método do Gradiente Conjugado (CG - Conjugate Gradient) a cada iteração, sendo chamado de IRLS-CG. São realizadas simulações com phantoms computacionais que mostram que o método permite reconstruir imagens a partir da aquisição de dados com refletores em posições não modeladas sem a observação de artefatos. As simulações também mostram melhor resolução espacial do método proposto com relação ao algoritmo delay-and-sum (DAS). Também se observou melhor desempenho computacional do CG com relação à matriz inversa nas iterações do IRLS. / This work presents an inverse problem based method for ultrasound image reconstruction which uses the L2-norm (or euclidean norm) as a penalty for the error between the data and the solution, and the L1-norm as a regularization penalty. The motivation for the use of of L1 regularization is the sparsity promoting property of this type of regularization. The sparsity of L1 regularization circumvents the problem of excess of artifatcts that is observed in other approaches of inverse problem based reconstrucion in ultrasound. Such problem is mainly a consequence of the limitation in the discrete representation of a continuous object in the acquisition model. Due to this limitation, reflecting objects in the imaged area are often localized in positions that do not correspond precisely to one of the positions in the discrete model, therefore generating data that do not correspond to the model data. The formulations of the problem with L2 regularization and with L1 regularization are presented and compared in geometric and Bayesian terms. The optimization algorithm proposed is an implementation of Iteratively Reweighted Least Squares (IRLS) and uses the Conjugate Gradient (CG) method inside each iteration, thus being called IRLS-CG. Simulations with computer phantoms are realized showing that the proposed method allows for the reconstruction of images, without observable artifacts, from data with reflectors located in non-modeled positions. Simulations also show a better spatial resolution in the proposed method when compared to the delay-and-sum (DAS) algorithm. It was also observed better computational performance of CG when compared to the matrix inversion in the iterations of IRLS.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This work proposes a methodology to obtain the transient cutting tool temperature. The physical phenomenon is treated by a three-dimensional analysis. The inverse heat conduction technique is proposed to estimate the generated heat flux on the rake face of the tool. This technique is based on conjugate gradient method with adjoint equation. The machining process is instrumented with thermocouples at the bottom face of the tool, opposite to its main rake face. The signals are automatically received and processed using a data acquisition system and a PC-Pentium. The direct solution is numerically solved using finite volumes method with the heat flux estimated. The experimental data are processed using a computational algorithm developed specifically for inverse heat flux estimation in machining processes. Experimental temperatures are obtained during several cutting tests using cemented carbide and ceramic tools. The influence of the cutting parameters on the temperature distribution is verified. An error analysis of the results is also presented. / O objetivo deste trabalho é propor uma metodologia para a obtenção da distribuição da temperatura na superfície de corte da ferramenta em um processo de usinagem por torneamento. Nesse sentido, o problema térmico de usinagem é caracterizado de maneira bem realista através de uma abordagem tridimensional. Para a obtenção dos campos térmicos na região de corte propõe-se o uso de técnicas de problemas inversos em condução de calor. Assim, a solução do problema térmico é obtida em duas etapas: solução inversa e solução direta. A solução inversa baseia-se no método do gradiente conjugado e da equação adjunta para a estimar o fluxo de calor gerado na região de corte que flui para a ferramenta. Nesse caso, são usados termopares soldados na face oposta da ferramenta que fornecem a informação necessária para que a solução inversa consiga estimar o fluxo de calor. Com a obtenção do fluxo de calor que flui para a ferramenta utiliza-se a solução direta do problema térmico para o cálculo da temperatura na região de corte. A implementação computacional da solução inversa e da solução direta é apresentada sob a forma de um programa de computador intitulado GRAD3D 1.0. Nesse programa, além da solução proposta para o problema térmico de usinagem é possível simular numericamente problemas térmicos correlatos. Testes experimentais unidimensionais e tridimensionais com condições controladas são apresentados para a validação do algoritmo computacional. Nos testes experimentais de usinagem, a aplicabilidade da técnica proposta é avaliada para o processo de usinagem por torneamento de uma barra de ferro fundido cinzento usando-se ferramentas de metal duro (WC) e de cerâmica (Si3N4). Apresenta-se ainda uma análise dos erros que podem estar presentes nos resultados obtidos. / Doutor em Engenharia Mecânica

De nombreux systèmes physiques complexes sont modélisés à l’aide de systèmes d’équations aux dérivées partielles comprenant éventuellement des couplages et des non linéarités. Dans ce cadre, les problématiques de commande qui cherchent à définir quels sont les moyens d’actions (éventuellement en dimension infinie) permettant d’atteindre un état désiré ne sont pas triviales.Il en est de même pour l’identification en ligne de caractéristiques du système physique à partir d’informations fournies par des observations pertinentes. Cet aspect est souvent considéré comme un problème inverse dont la résolution pose de nombreuses questions spécifiques et ardues.Afin d’illustrer la problématique du déplacement judicieux d’un ensemble de capteurs mobiles pour reconstruire un terme source dans une équation aux dérivées partielles paraboliques, un dispositif est décrit dans cette étude. Il décrit des phénomènes de convection et diffusion éventuellement non linéaires.Le travail décrit dans ce document est destiné à développer une méthodologie complète en vue de réaliser une conception optimale d'expériences dans le cadre de problèmes mal posés non linéaires associés à l'évaluation de paramètres inconnus dans des systèmes décrits par des équations aux dérivées partielles. Le prototype expérimental a pour objet de tester les performances des stratégies de déploiement optimal d'un ensemble de capteurs mobile afin d’identifier des paramètres de plusieurs sources chauffantes en mouvement. / Many complex physical systems are modeled using systems of partial differential equations including possibly coupling and non-linearity. In this context, the determination of control strategies (in infinite dimension) in order to achieve a desired state is not trivial. It is obvious that quasi on-line identification of characteristics of the physical system from information provided by relevant sensors is quite complex. This optimization problem is often formulated as an inverse problem, whose resolution raises many specific questions. To illustrate the problem of the moving of a set of mobile sensors to identify a term source in parabolic partial differential equations, an experimental device is proposed in this study. Both phenomena of convection and diffusion (possibly non-linear) are taken into account. The work described in this document is intended to develop a comprehensive methodology to achieve an optimal design of experiments for nonlinear ill-posed problems associated with the evaluation of unknown parameters in systems described by partial differential equations. The experimental prototype is intended to test the performance of strategies for optimal deployment of a mobile set of sensors to identify parameters of multiple heating sources in movement.