The scope of this dissertation is to investigate the merits and implications of using multilevel modulation formats in optical communications systems. Following the trend in academia and industry, special focus is placed on quadrature phase-shift keying (QPSK), and specifically on polarization division multiplexed (PDM) QPSK. A special kind of receiver is investigated thoroughly, the digital coherent receiver, the equivalent of the coherent quadrature demodulator in classical communications nomenclature. A large number of digital signal processing (DSP) algorithms are implemented, some of them novel, and their performance is examined, analyzed, and compared in a number of practical system scenarios. The impact of transmitter / receiver imperfections and a number of optical fiber impairments on system performance is studied. Experimental results taken from proof-of-concept experiments are also analyzed. / Η διατριβή αυτή έχει ως σκοπό τη μελέτη οπτικών τηλεπικοινωνιακών συστημάτων που χρησιμοποιούν τετραδικές διαμορφώσεις φάσης, πολυπλεξία κατά πόλωση και σύμφωνους ψηφιακούς δέκτες διαφοροποίησης φάσης και πόλωσης. Μελετήθηκαν αλγόριθμοι επεξεργασίας σήματος κατάλληλοι για εξάλειψη της επίδρασης των φαινομένων διάδοσης και των μη ιδανικοτήτων οπτικών τηλεπικοινωνιακών συστημάτων. Η μελέτη έγινε με προσομοίωση Monte-Carlo, με χρήση ημιαναλυτικής μεθόδου προσδιορισμού της πιθανότητας σφάλματος τηλεπικοινωνιακού συστήματος και με ανάλυση πειραματικών δεδομένων. Τα πειραματικά δεδομένα ελήφθησαν από οπτικό τηλεπικοινωνιακό σύστημα με τετραδική διαμόρφωση φάσης και πολυπλεξία κατά πόλωση με ρυθμούς συμβόλων 0.1-10 GBd (0.4-40 Gb/s). Μελετήθηκαν αλγόριθμοι επανένωσης των πολώσεων, αλγόριθμοι αποπολύπλεξης των πολώσεων, αλγόριθμοι διόρθωσης της ανισοσταθμίας ορθογωνιότητας, αλγόριθμοι εκτίμησης και αφαίρεσης της ενδιάμεσης συχνότητας και αλγόριθμοι εκτίμησης και αφαίρεσης του θορύβου φάσης των laser.