Developing nanoparticulate delivery systems that will allow easy movement and localisation of a drug to the target tissue and provide more controlled release of the drug in vivo is a challenge for researchers in nanomedicine. The aim of this study was to evaluate the biodistribution of two nano-delivery systems namely, poly(D,L-lactide-co-glycolide) (PLGA) nanoparticles containing samarium-153 oxide ([153Sm]Sm2O3) as radiotracer and solid lipid nanoparticles (SLNs) containing technetium-99m-methylene diphosphonate (99mTc-MDP), after oral and intravenous administration to rats to prove that orally administered nanoparticles indeed alter the biodistribution of a drug as compared to the drug on its own. Stable samarium-152 oxide ([152Sm]Sm2O3) was encapsulated in polymeric PLGA nanoparticles. These were then activated in a nuclear reactor to produce radioactive [153Sm]Sm2O3 loaded-PLGA nanoparticles. Both the stable nanoparticles as well as the fully decayed activated nanoparticles, were characterized for size, Zeta potential and morphology using dynamic light scattering and scanning electron microscopy (SEM) or transmission electron microscopy (TEM), respectively. SLNs were a form of delivery system which was used to encapsulate the radiotracer, 99mTc-MDP. 99mTc-MDP SLNs were characterized before and after encapsulation for size and Zeta potential. Both nanoparticle compounds were orally and intravenously (IV) administered to rats in order to trace their uptake and biodistribution through imaging and ex vivo biodistribution studies. The PLGA nanoparticles containing [153Sm]Sm2O3 were spherical in morphology and smaller than 500 nm, therefore meeting the objective of producing radiolabelled nanoparticles smaller than 500 nm. Various parameters were optimized to obtain an average particle size ranging between 250 and 300 nm, with an average polydispersity index (PDI) ≤ 0.3 after spray drying. The particles had a Zeta potential ranging between 5 and 20 mV. The Sm2O3-PLGA nanoparticles had an average size of 281 ± 6.3 nm and a PDI average of 0.22. The orally administered [153Sm]Sm2O3-PLGA nanoparticles were deposited in various organs which includes bone with a total of 0.3% of the Injected Dose (ID) per gram vs the control of [153Sm]Sm2O3which showed no uptake in any organs except the GI-tract. The IV injected [153Sm]Sm2O3-PLGA nanoparticles exhibit the highest localisation of nanoparticles in the spleen (8.63%ID/g) and liver (3.07%ID/g). The 99mTc-MDP-labelled SLN were spherical and smaller than 500 nm. Optimization of the MDP-loaded SLN emulsions yielded a slightly higher PDI of ≥0.5 and a size range between 150 and 450 nm. The Zeta potential was between -30 and -2 mV. The MDP-loaded SLN had an average size of 256 ± 5.27 and an average PDI of 0.245.The orally administered 99mTc-MDP SLN had the highest localisation of nanoparticles in the kidneys (8.50%ID/g) and stomach (8.04%ID/g) while the control, 99mTc-MDP had no uptake in any organs except the GI-tract. The IV injected 99mTc-MDP SLN also exhibited a high localisation of particles in the kidneys (3.87%ID/g) followed by bone (2.66%ID/g). Both the IV and oral 99mTc-MDP SLN reported significantly low deposition values in the heart, liver and spleen. Based on the imaging and the biodistribution studies, it can be concluded that there was a significant transfer of the orally administrated radiolabelled nanoparticles from the stomach to other organs vs the controls. Furthermore, this biodistribution of the nano carriers warrants surface modification and optimisation of the nanoparticles to avoid higher particle localisation in the stomach. / MSc (Pharmaceutics), North-West University, Potchefstroom Campus, 2014

Previous studies have shown that the formulation of an active pharmaceutical ingredient (API) entrapped in the Pheroid® (Pheroid for simplification) delivery system enhances absorption of the API, suppresses its metabolism, and may contribute to an increase in the quantity of the API present at the site of action. Higher drug levels at the active site should particularly increase the effectiveness of a drug with a narrow therapeutic index and reduce the incidence of the resistance that may otherwise arise if the sub-therapeutic levels of the API are in contact with the site of interest. Two approaches were followed in this study. First, the radioactive tracer molecule 99mTechnetium methylene diphosphonate (99mTc MDP) was used. Intravenously injected 99mTc MDP is an extremely effective bone-seeking radiopharmaceutical used in the diagnosis of bone disorders such as bone metastases in patients. However, if entrapped inside a Pheroid vesicle, it will locate to that site, usually an organ, where the Pheroid vesicles may tend to accumulate. Experiments conducted with 99mTc MDP alone or with Pheroid will therefore establish how efficiently Pheroid vesicles localize and will also indicate the preferred site of localization inside a body. The process would involve the oral administration of 99mTc MDP either alone or with Pheroid, involving an animal model. It would also involve tracking localization to particular organs, blood or other sites. The second approach requires the use of chloroquine (CQ) labeled with carbon-14 (14C-CQ,) to compare absorption of the drug both with and without the Pheroid system. The intention was to compare oral absorption and bio-distribution of 14C-CQ administered either alone or entrapped in the Pheroid system. It was also possible to establish whether the Pheroid affects the biological half-lives of the CQ and residence times of CQ in the different organs of the body. Absorption of free 99mTc MDP (orally adminsistered) through the intestinal tract is negligible but it was anticipated that increased absorption will be observed when 99mTc MDP was entrapped in the Pheroid system. In the 99mTc MDP study, different routes of administration of 99mTc MDP, as well as 99mTc MDP entrapped and not entrapped in the Pheroid system, were investigated. The Sprague Dawley rat was used as animal model. Rats were divided into three groups of four rats each for the first part of the study. In the first group, only 99mTc MDP was injected intravenously in order to establish natural distribution of the 99mTc MDP. For the second group, 99mTc MDP was administered orally in order to establish whether there was any absorption through the intestinal tract. In the third group, the 99mTc MDP was entrapped in Pheroid vesicles and this formulation was administered orally in order to establish whether the Pheroid system enhanced oral absorption. The animals were sacrificed four hours after administration and organs were harvested and were counted for radioactivity to determine the percentage of injected/administrated dose in each organ. After oral administration, the Pheroid system was found to have facilitated absorption of 99mTc MDP through the intestinal tract into the blood. 99mTc MDP concentrations in the femur, although lower, were still comparable with that observed after intravenous administration of 99mTc MDP in the absence of Pheroid. Thus, overall, excellent absorption of the Pheroid entrapped 99mTc MDP through the intestinal tract was seen in contrast to little or zero absorption of the compound in the reference formulations. The half-life of the radio-labelled compound in the blood was prolonged after oral administration owing to the Pheroid. To investigate the bio-distribution of radioactive chloroquine (14C-CQ) Sprague Dawley rats were divided into two groups of four rats each. In the first group, 14C-CQ in deionised (DI) water was administered orally, and in the second group 14C-CQ entrapped in Pheroid vesicles was administered, also orally. The animals were sacrificed one, two and four hours after administration and subjected to comprehensive macroscopic inspection. All the organs were harvested and radioactivity was determined with liquid scintillation after applicable sample preparation. The Pheroid system produced much higher organ and blood concentrations of 14C-CQ and enhanced residence times within the organs and blood in comparison with that of 14C-CQ administered alone. Commercial applications of these results are possible, as a number of radiopharmaceutical products can presently be administered only intravenously. The added potential of these new Pheroid formulations could be of significance in the treatment of malaria, as chloroquine is inexpensive and widely available. Another point of interest is that the use of these formulations may enable micromolar drug concentrations to be achieved using drug dosage regimes that usually produce only nanomolar levels. However, safety aspects would have to be carefully monitored. / PhD (Pharmaceutics), North-West University, Potchefstroom Campus, 2015

This thesis focuses on algorithms solving the on-line Bin-Covering problem, when the items are generated from a known, stationary distribution. We introduce the Prospect Algorithm. The main idea behind the Prospect Algorithm is to use information on the item distribution to estimate how easy it will be to fill a bin with small overfill as a function of the empty space left in it. This estimate is then used to determine where to place the items, so that all active bins either stay easily fillable, or are finished with small overfill. We test the performance of the algorithm by simulation, and discuss how it can be modified to cope with additional constraints and extended to solve the Bin-Packing problem as well. The Prospect Algorithm is then adapted to achieve perfect packing, yielding a new version, the Prospect+ Algorithm, that is a slight but consistent improvement. Next, a Markov Decision Process formulation is used to obtain an optimal Bin-Covering algorithm to compare with the Prospect Algorithm. Even though the optimal algorithm can only be applied to limited (small) cases, it gives useful insights that lead to another modification of the Prospect Algorithm. We also discuss two relaxations of the on-line constraint, and describe how algorithms that are based on solving the Subset-Sum problem are used to tackle these relaxed problems. Finally, several practical issues encountered when using the Prospect Algorithm in the real-world are analyzed, a computationally efficient way of doing the background calculations needed for the Prospect Algorithm is described, and the three versions of the Prospect Algorithm developed in this thesis are compared.

A maioria das propostas de planejamento de rotas para robôs móveis não leva em conta a existência de soluções para problemas similares ao aprender a política para resolver um novo problema; e devido a isto, o problema de navegação corrente deve ser resolvido a partir do zero, o que pode ser excessivamente custoso em relação ao tempo. Neste trabalho é realizado o acoplamento do conhecimento prévio obtido de soluções similares, representado por uma política abstrata, a um processo de aprendizado por reforço. Além disto, este trabalho apresenta uma arquitetura para o aprendizado por reforço simultâneo, de nome ASAR, onde a política abstrata auxilia na inicialização da política para o problema concreto, e ambas as políticas são refinadas através da exploração. A fim de reduzir a perda de informação na construção da política abstrata é proposto um algoritmo, nomeado X-TILDE, que constrói uma política abstrata estocástica. A arquitetura proposta é comparada com um algoritmo de aprendizado padrão e os resultados demonstram que ela é eficaz em acelerar a construção da política para problemas práticos. / Most work in path-planning approaches for mobile robots does not take into account existing solutions to similar problems when learning a policy to solve a new problem, and consequently solves the current navigation problem from scratch, what can be very time consuming. In this work we couple a prior knowledge obtained from a similar solution to a reinforcement learning process. The prior knowledge is represented by an abstract policy. In addition, this work presents a framework for simultaneous reinforcement learning called ASAR, where the abstract policy helps start up the policy for the concrete problem, and both policies are refined through exploration. For the construction of the abstract policy we propose an algorithm called X-TILDE, that builds a stochastic abstract policy, in order to reduce the loss of information. The proposed framework is compared with a default learning algorithm and the results show that it is effective in speeding up policy construction for practical problems.

Le sujet des travaux concerne l'amélioration du comportement des machines dites \og intelligentes\fg, c'est-à-dire capables de s'adapter à leur environnement, même lorsque celui-ci évolue. Un des domaines concerné est celui des interactions homme-machine. La machine doit alors gérer différents types d'incertitude pour agir de façon appropriée. D'abord, elle doit pouvoir prendre en compte les variations de comportements entre les utilisateurs et le fait que le comportement peut varier d'une utilisation à l'autre en fonction de l'habitude à interagir avec le système. De plus, la machine doit s'adapter à l'utilisateur même si les moyens de communication entre lui et la machine sont bruités. L'objectif est alors de gérer ces incertitudes pour exhiber un comportement cohérent. Ce dernier se définit comme la suite de décisions successives que la machine doit effectuer afin de parvenir à l'objectif fixé. Une manière habituelle pour gérer les incertitudes passe par l'introduction de modèles : modèles de l'utilisateur, de la tâche, ou encore de la décision. Un inconvénient de cette méthode réside dans le fait qu'une connaissance experte liée au domaine concerné est nécessaire à la définition des modèles. Si l'introduction d'une méthode d'apprentissage automatique, l'apprentissage par renforcement a permis d'éviter une modélisation de la décision \textit{ad hoc} au problème concerné, des connaissances expertes restent toutefois nécessaires. La thèse défendue par ces travaux est que certaines contraintes liées à l'expertise humaine peuvent être relaxées tout en limitant la perte de généricité liée à l'introduction de modèles / The behaviour of machines is difficult to define, especially when machines have to adapt to a changing environment. For example, this is the case when human-machine interactions are concerned. Indeed, the machine has to deal with several sources of uncertainty to exhibit a consistent behaviour to the user. First, it has to deal with the different behaviours of the users and also with a change in the behaviour of a user when he gets used to the machine. Secondly, the communication between the user and the machine can be noisy, which makes the transfer of information more complicated. The objective is thus to deal with the different sources of uncertainty to show a consistent behaviour. Usually, dealing with uncertainties is performed by introducing models : models of the users, the task concerned or the decision. However, the accuracy of the solution depends on the accuracy of expert knowledge used to build the models. If machine learning, through reinforcement learning, has successfully avoided the use of model for the decision and removed \textit{ad hoc} knowledge about it, expert knowledge is still necessary. The thesis presented in this work is that some constraints related to human expertise can be slackened without a loss of generality related to the introduction of models

A maioria das propostas de planejamento de rotas para robôs móveis não leva em conta a existência de soluções para problemas similares ao aprender a política para resolver um novo problema; e devido a isto, o problema de navegação corrente deve ser resolvido a partir do zero, o que pode ser excessivamente custoso em relação ao tempo. Neste trabalho é realizado o acoplamento do conhecimento prévio obtido de soluções similares, representado por uma política abstrata, a um processo de aprendizado por reforço. Além disto, este trabalho apresenta uma arquitetura para o aprendizado por reforço simultâneo, de nome ASAR, onde a política abstrata auxilia na inicialização da política para o problema concreto, e ambas as políticas são refinadas através da exploração. A fim de reduzir a perda de informação na construção da política abstrata é proposto um algoritmo, nomeado X-TILDE, que constrói uma política abstrata estocástica. A arquitetura proposta é comparada com um algoritmo de aprendizado padrão e os resultados demonstram que ela é eficaz em acelerar a construção da política para problemas práticos. / Most work in path-planning approaches for mobile robots does not take into account existing solutions to similar problems when learning a policy to solve a new problem, and consequently solves the current navigation problem from scratch, what can be very time consuming. In this work we couple a prior knowledge obtained from a similar solution to a reinforcement learning process. The prior knowledge is represented by an abstract policy. In addition, this work presents a framework for simultaneous reinforcement learning called ASAR, where the abstract policy helps start up the policy for the concrete problem, and both policies are refined through exploration. For the construction of the abstract policy we propose an algorithm called X-TILDE, that builds a stochastic abstract policy, in order to reduce the loss of information. The proposed framework is compared with a default learning algorithm and the results show that it is effective in speeding up policy construction for practical problems.

Au-delà des performances économiques classiques, les entreprises sont confrontées aussi aujourd'hui à des exigences plus sociétales liés à la sécurité des hommes et des matériels, à la protection de l'environnement et à la réduction des nuisances ... afin de faire face efficacement aux impératifs du marché et des réglementations, aux besoins des clients mais aussi aux nécessités du développement durable. La maîtrise simultanée des ces performances considérées comme contradictoires et donc très difficiles à gérer, est ainsi devenue un enjeu stratégique pour améliorer la performance globale de l'entreprise. Cet enjeu se décline concrètement au niveau opérationnel du système industriel par le concept de maintien en condition opérationnelle (MCO) dont la finalité est d'assurer principalement le bon fonctionnement du système tout au long de la phase d'exploitation.<br />Par rapport aux différentes composantes du MCO, notamment le soutien technique et le soutien logistique, ces travaux de thèse, initiés dans le cadre d'un partenariat avec l'INRETS, se restreignent au contexte du processus pivot du soutien technique: le processus de maintenance. Ce processus est considéré actuellement comme l'un des principaux leviers d'action sur la performance globale des systèmes industriels avec cependant encore de nombreuses problématiques scientifiques à résoudre pour en garantir son optimisation.<br />Par conséquent les propositions défendues scientifiquement dans cette thèse, et qui s'adossent au contexte industriel du MCO des rails à la RATP, portent globalement sur une contribution au processus de maintenance en se focalisant plus précisément sur les sous processus complémentaires de diagnostic et d'aide à la décision. En effet, une première contribution a pour objet de proposer le développement d'un système de diagnostic (de détection de rail cassé) basé sur une nouvelle approche permettant de fusionner des connaissances a priori avec des résultats du traitement des mesures réelles issues de capteurs. Une deuxième contribution propose deux approches originales d'aide la décision en maintenance des systèmes à n-composants permettant de réduire le coût global de possession (Life Cycle Cost: LCC) d'un système complexe à partir d'une modélisation de la dégradation des composants, et en intégrant simultanément plusieurs types de dépendances telles que les dépendances fonctionnelles et économiques. Ces deux dernières approches portent sur les politiques de maintenance préventive, et plus particulièrement sur la maintenance conditionnelle et prévisionnelle.<br /><br />Contexte et problématique industriels de la thèse<br />Le rail est un organe vital dans le transport ferroviaire. Sa sûreté et sa maintenance conditionnent le bon fonctionnement de tout le réseau de transport. Les exploitants ferroviaires, ayant pour priorité d'assurer la sécurité et le bien-être des passagers, accordent un intérêt de plus en plus particulier à cet organe de l'infrastructure. En effet, l'accroissement de la vitesse des trains, de la densité du trafic, des charges par essieux et de la puissance des engins moteurs ont pour conséquence d'exercer sur les voies ferroviaires des sollicitations toujours plus grandes qui peuvent, à la longue, mettre en cause l'intégrité des rails. Le maintien en conditions opérationnelles de cet organe est devenu donc une préoccupation majeure des exploitants ferroviaire.<br />Par exemple bien que l'occurrence des fissures soit rare sur le métro parisien, la RATP a étudié de près les effets de ces ruptures sur plusieurs plans: mécanique, électrique, économique et sécuritaire, et a mis en évidence la nécessité de concevoir un nouveau système automatique de détection qui permet de remplacer la fonction de détection de rail cassé assurée auparavant par le circuit de voie (CdV).<br />Dans ce cadre, un capteur à courants de Foucault a été développé par l'INRETS en partenariat avec la RATP dans le cadre du programme national de recherche et d'innovation dans les transports terrestres. Ce dispositif doit assurer une détection de défauts de rails sans contact avec des contraintes électrique, mécanique, de positionnement, de pollution, etc. Ce système avait pour but initial la détection des fissures débouchantes. Étant capable de détecter aussi toute modification de la géométrie de la surface de rail, ou de ses caractéristiques magnétiques, le capteur permet en plus de relever quelques irrégularités sur la voie autre que les ruptures. Un étiquetage de ces points a été mis en œuvre ce qui offre au système de diagnostic, lors du passage du véhicule auquel il est adjoint, la possibilité d'identifier des points singuliers tels que les joints ou les écailles qui sont une source d'information très utile pour la mise en œuvre d'une maintenance plus dynamique et donc plus optimale. <br />En effet à l'heure actuelle, les actions de maintenance des voies ferrées sont essentiellement correctives ou sont exécutées à intervalles de temps prédéterminés. Dans ses études, la RATP a conclu que ces deux types de politiques sont trop coûteux et peu sûrs, et a mis en évidence le besoin d'évoluer vers de nouvelles stratégies de maintenance pour assurer à la fois la sécurité et la disponibilité des installations à moindre coût. Par ailleurs, des études récentes ont montré que la prise en compte d'un certain nombre de paramètres significatifs de la dégradation de rails devait permettre d'affiner les politiques de maintenance et, ainsi, d'améliorer la qualité de service, la disponibilité, la sécurité et les coûts. Pour aboutir à cette finalité, la maintenance des rails ne doit plus être limitée à la seule vision du composant (portion de rail) siège de la défaillance, mais à l'étude du système dans sa globalité (système à n-composants). Les décisions relatives à la maintenance ne peuvent donc plus être isolées de leur contexte et doivent s'inscrire dans un lien plus fort entre surveillance – diagnostic et aide à la décision. <br />Sur la base de ce double constat industriel en diagnostic et décision, les travaux de recherche menés dans cette thèse ont pour objet, relativement au contexte RATP, d'investiguer de nouvelles orientations pour les politiques de maintenance des rails permettant à la fois de corriger efficacement les défauts (maintenance corrective), et de les anticiper (maintenance préventive) en suivant des prévisions extrapolées de l'analyse et de l'évaluation des paramètres significatifs de la dégradation des rails (informations issues du diagnostic). Ces approches doivent se baser essentiellement sur les aspects d'optimisation des coûts liés à la maintenance et à ses conséquences.<br /><br />Approche proposée<br />Face à la problématique industrielle RATP genèse de cette thèse, la démarche scientifique mise en œuvre se décline naturellement en deux phases complémentaires. Tout d'abord, il s'agit d'améliorer le système de diagnostic existant (capteur à courants de Foucault) pour la détection des défauts afin de garantir des résultats fiables sur l'état de dégradation des rails. Dans ce cadre, nous proposons une méthode de diagnostic originale se basant sur une fusion de deux sources d'informations de natures différentes : Approche Locale et Approche Globale. La deuxième phase de cette étude consiste ensuite à donner deux nouvelles approches pour contribuer à l'optimisation de la maintenance conditionnelle et prévisionnelle des systèmes formés par plusieurs composants en tenant compte de certains type de dépendances, notamment économique et fonctionnelles<br />Organisation du Rapport<br />Cette démarche se développe dans le mémoire sous la forme de 4 chapitres :<br />- Le premier chapitre permet de définir globalement le processus de maintenance à la fois d'un point de vue général mais aussi relativement au contexte industriel. A partir de l'état de l'art sur les différentes politiques de maintenance, sont isolés de façon plus précise les processus clés de diagnostic et d'aide à la décision. Un premier constat est fait aussi sur les insuffisances des politiques de maintenance utilisées actuellement par l'exploitant ferroviaire RATP et la nécessité de proposer des nouvelles politiques qui sont plus efficaces et moins coûteuses. Ce constat permet de positionner le contexte de nos contributions et de les justifier.<br />- le deuxième chapitre est consacré à l'étude du sous processus de diagnostic. Son objectif est d'expliquer la procédure de mise en œuvre de l'approche locale que nous proposons. En ce sens ce chapitre est structuré en trois grandes parties. La première partie est consacrée à présenter et analyser les données fournies par la RTAP décrivant la structure des voies. A l'issue de cette étape, un état de l'art des méthodes d'analyse et de traitement de ces données est réalisé dans l'optique de choisir la meilleure alternative. La mise en œuvre de la méthode choisie est décrite ensuite en fin du chapitre 2.<br />- Le troisième chapitre complète le deuxième et présente une généralisation des outils utilisés pour la mise en œuvre de l'approche locale, puis il explique la procédure de fusion entre l'approche locale et l'approche globale.<br />- Enfin, le dernier chapitre est consacré au développement d'une démarche générique, basée sur une combinaison des réseaux bayésiens dynamiques et des processus décisionnels de Markov, pour l'optimisation de la maintenance conditionnelle et prévisionnelle des systèmes à N-composants.<br /><br />En synthèse, notre proposition fournit un cadre de modélisation théorique contribuant à l'optimisation du LCC d'un système tout en intégrant différents types de dépendances entre ses composants. La mise en œuvre de notre proposition est déroulée, dans un premier temps, sur un exemple illustratif puis appliquée en dernière étape dans le cadre de la maintenance des rails.

<p>I dagens affärsdrivande organisationer genomförs projekt inte enbart för att skapa förändringar av organisation, arbetssätt eller infrastruktur. Marknadens rörlighet och kundspecifika krav på komplexa produkter, medför att projekt även genomförs inom den ordinarie operativa verksamheten för att hantera temporära, komplexa engångsuppgifter i form av både kundorder och produktutvecklingar. Projektarbetsformen kan öka engagemanget och samarbetet över organisationsgränserna, men det är vanligt att organisationer även upplever problem med projekten. En stor del av problemen kan antas bero på organisationens förmåga att tillämpa projektarbetsformen – organisationens projektivitet. Avhandlingens övergripande forskningsfråga lyder: Hur kan en organisations projektivitet beskrivas i en modell? Med utgångspunkt i Ericsson Infotechs projektivitetsmodell har syftet med forskningsarbetet varit att utveckla en ny projektivitetsmodell som skall kunna tillämpas vid fortsatt utveckling av en metod för projektivitetsanalys. En explorativ studie har genomförts i fem etapper, där valideringen av modellversioner varit ett viktigt inslag. Resultatet av arbetet är dels ett utvecklat projektbegrepp med en klar åtskillnad mellan projektuppgift och projektarbetsform, dels en multidimensionell projektivitetsmodell (MDP-modellen) med fyra dimensioner: projektfunktioner, triader, influerande faktorer samt organisatoriskt lärande. Avhandlingens resultat är avsett att ligga till grund för framtida forskning inom området, exempelvis fortsatt utveckling av en projektivitetsanalys eller organisatorisk lärande genom tillämpning av projektmodeller.</p>

<p>In this thesis we address the problem of how to construct an optimal algorithm for displaying banners (i.e advertisements shown on web sites). The optimization is based on the revenue each banner generates, with the aim of selecting those banners which maximize future total revenue. Banner optimality is of major importance in the e-commerce industry, in particular on web sites with heavy traffic. The 'micropayments' from showing banners add up to substantial profits due to the large volumes involved. We provide a broad, up-to-date and primarily theoretical treatment of this global optimization problem. Through a synthesis of mathematical modeling, statistical methodology and computer science we construct a stochastic 'planning algorithm'. The superiority of our algorithm is based on empirical analysis conducted by us on real internet-data at TradeDoubler AB, as well as test-results on a selection of stylized data-sets. The algorithm is flexible and adapts well to new environments.</p>

The decentralized Markov decision process (Dec-POMDP) is a powerful formal model for studying multiagent problems where cooperative, coordinated action is optimal, but each agent acts based on local data alone. Unfortunately, it is known that Dec-POMDPs are fundamentally intractable: they are NEXP-complete in the worst case, and have been empirically observed to be beyond feasible optimal solution.To get around these obstacles, researchers have focused on special classes of the general Dec-POMDP problem, restricting the degree to which agent actions can interact with one another. In some cases, it has been proven that these sorts of structured forms of interaction can in fact reduce worst-case complexity. Where formal proofs have been lacking, empirical observations suggest that this may also be true for other cases, although less is known precisely.This thesis unifies a range of this existing work, extending analysis to establish novel complexity results for some popular restricted-interaction models. We also establish some new results concerning cases for which reduced complexity has been proven, showing correspondences between basic structural features and the potential for dimensionality reduction when employing mathematical programming techniques.As our new complexity results establish that worst-case intractability is more widespread than previously known, we look to new ways of analyzing the potential average-case difficulty of Dec-POMDP instances. As this would be extremely difficult using the tools of traditional complexity theory, we take a more empirical approach. In so doing, we identify new analytical measures that apply to all Dec-POMDPs, whatever their structure. These measures allow us to identify problems that are potentially easier to solve on average, and validate this claim empirically. As we show, the performance of well-known optimal dynamic programming methods correlates with our new measure of difficulty. Finally, we explore the approximate case, showing that our measure works well as a predictor of difficulty there, too, and provides a means of setting algorithm parameters to achieve far more efficient performance.