181 |
[en] SIGNAL PROCESSING TECHNIQUES FOR ENERGY EFFICIENT DISTRIBUTED LEARNING / [pt] TÉCNICAS DE PROCESSAMENTO DE SINAIS PARA APRENDIZAGEM DISTRIBUÍDA COM EFICIÊNCIA ENERGÉTICAALIREZA DANAEE 11 January 2023 (has links)
[pt] As redes da Internet das Coisas (IdC) incluem dispositivos inteligentes que contêm muitos sensores que permitem interagir com o mundo físico, coletando e processando dados de streaming em tempo real. O consumo total de energia e o custo desses sensores afetam o consumo de energia
e o custo dos dispositivos IdC. O tipo de sensor determina a precisão da
interface analógica e a resolução dos conversores analógico-digital (ADCs). A
resolução dos ADCs tem um compromisso entre a precisão de inferência e o
consumo de energia, uma vez que o consumo de energia dos ADCs depende
do número de bits usados para representar amostras digitais.
Nesta tese, apresentamos um esquema de aprendizado distribuído com eficiência
energética usando sinais quantizados para redes da IdC. Em particular,
desenvolvemos algoritmos de gradiente estocástico com reconhecimento de
quantização distribuído (DQA-LMS) e de mínimos quadrados recursivos com
reconhecimento de quantização distribuído (DQA-RLS) que podem aprender
parâmetros de maneira eficiente em energia usando sinais quantizados com
poucos bits, exigindo um baixo custo computacional. Além disso, desenvolvemos
uma estratégia de compensação de viés para melhorar ainda mais o
desempenho dos algoritmos propostos. Uma análise estatística dos algoritmos
propostos juntamente com uma avaliação da complexidade computacional
das técnicas propostas e existentes é realizada. Os resultados numéricos
avaliam os algoritmos com reconhecimento de quantização distribuída em
relação às técnicas existentes para uma tarefa de estimação de parâmetros
em que os dispositivos IdC operam em um modo ponto a ponto.
Também apresentamos um esquema de aprendizado federativo com eficiência
energética usando sinais quantizados para redes de IdC. Desenvolvemos o
algoritmo federated averaging LMS (QA-FedAvg-LMS) com reconhecimento
de quantização para redes IdC estruturadas por configuração de aprendizado
federativo em que os dispositivos IdC trocam suas estimativas com um
servidor. Uma estratégia de compensação de viés para QA-FedAvg-LMS é
proposta junto com sua análise estatística e a avaliação de desempenho em
relação às técnicas existentes com resultados numéricos. / [en] Internet of Things (IoT) networks include smart devices that contain many sensors that allow them to interact with the physical world, collecting and processing streaming data in real time. The total energy-consumption and cost of these sensors affect the energy-consumption and the cost of IoT
devices. The type of sensor determines the accuracy of the analog interface and the resolution of the analog-to-digital converters (ADCs). The ADC resolution requirement has a trade-off between sensing performance and energy consumption since the energy consumption of ADCs strongly depends
on the number of bits used to represent digital samples. In this thesis, we present an energy-efficient distributed learning framework using coarsely quantized signals for IoT networks. In particular, we develop
a distributed quantization-aware least-mean square (DQA-LMS) and a distributed quantization-aware recursive least-squares (DQA-RLS) algorithms that can learn parameters in an energy-efficient fashion using signals quantized with few bits while requiring a low computational cost. Moreover, we
develop a bias compensation strategy to further improve the performance of the proposed algorithms. We then carry out a statistical analysis of the proposed algorithms along with a computational complexity evaluation of the proposed and existing techniques. Numerical results assess the distributed
quantization-aware algorithms against existing techniques for distributed parameter estimation where IoT devices operate in a peer-to-peer mode. We also introduce an energy-efficient federated learning framework using coarsely quantized signals for IoT networks, where IoT devices exchange
their estimates with a server. We then develop the quantization-aware federated averaging LMS (QA-FedAvg-LMS) algorithm to perform parameter estimation at the clients and servers. Furthermore, we devise a bias compensation strategy for QA-FedAvg-LMS, carry out its statistical analysis,
and assess its performance against existing techniques with numerical results.
|
182 |
Lite-Agro: Integrating Federated Learning and TinyML on IoAT-Edge for Plant Disease ClassificationDockendorf, Catherine April 05 1900 (has links)
Lite-Agro studies applications of TinyML in pear (Pyrus communis) tree disease identification and explores hardware implementations with an ESP32 microcontroller. The study works with the DiaMOS Pear Dataset to learn through image analysis whether the leaf is healthy or not, and classifies it according to curl, healthy, spot or slug categories. The system is designed as a low cost and light-duty computing detection edge solution that compares models such as InceptionV3, XceptionV3, EfficientNetB0, and MobileNetV2. This work also researches integration with federated learning frameworks and provides an introduction to federated averaging algorithms.
|
183 |
Autonomia federativa: delimitação no direito constitucional brasileiro / Federative autonomy: delimitation in Brazilian constitucional law.Quintiliano, Leonardo David 20 December 2012 (has links)
O federalismo conhece, na experiência moderna, diversas formações e conformações, segundo a ideologia que o permeia e a necessidade histórica que o explica e que o implica. Embora não seja possível falar em um modelo puro ou autêntico de federalismo, há uma característica que lhe é essencial, cuja falta negaria sua própria razão de ser: a coexistência, sob o mesmo poder soberano, de duas ou mais sociedades políticas dotadas de estatalidade. A estatalidade é informada pela existência de um poder político de inaugurar determinada ordem jurídica. No Estado dito unitário, trata-se da soberania. No Estado dito federativo, a soberania convive com o poder político dos Estados federados - a autonomia federativa. Assim como a soberania, a autonomia federativa é um poder político constituinte, mas, ao contrário daquela, é também poder político constituído (competência), limitado pelo poder soberano. A autonomia federativa implica, ainda, a competência para constituir competências políticas e governamentais. Tais limites são postos pelo poder soberano na Constituição do Estado federativo, que define o grau de autonomia federativa. Esse poder tem sofrido oscilações ao longo das Constituições republicanas brasileiras, havendo, em todas elas, considerável disparidade entre a autonomia federativa formal (que o texto revela) e a autonomia federativa real (que se pratica), causada, sobretudo, pelo antagonismo dos interesses políticos e econômicos que determinam, em última instância, a descentralização político-governamental. A presente tese propõe a conceituação e a delimitação da autonomia federativa formal no Direito Constitucional brasileiro posto pela Constituição da República Federativa do Brasil de 1988 / Federalism has had, in the modern experience, different frames and meanings, according to the ideology embedded into it and the historical necessity that explains and implies it. Although it is not possible to advocate a pure or authentic model for federalism, there is an essential feature, whose absence would deny its own reason for being: the coexistence, under the same sovereign power, of two or more political societies with statehood. Statehood is constituted by a political power capable to create a particular legal order. In so-called unitary states, such political power is the sovereignty. In federal states, the sovereignty of nation-state coexists with the political power of federated states - the federative autonomy. Like sovereignty, federative autonomy is a constitutional-political power. However, in contrast to the former, federative autonomy is also constituted political power (competence), limited by the sovereign power. The federative autonomy also implies the competence to establish political and governmental powers. These limits are set by the sovereign power in the Constitution of the federal state, which defines the degree of federative autonomy. Such power has oscillated along the Brazilian republican constitutions. All of them revealed considerable disparity between the formal federative autonomy (which the legal text provides) and the real federative autonomy (which is practiced), which was caused, mainly, by the antagonism between political and economic interests. Such interests ultimately determine political and governmental decentralization. This dissertation advocates the conceptualization and delimitation of formal federative autonomy in the Brazilian Constitutional Law set forth by the Constitution of the Federative Republic of Brazil.
|
184 |
Autonomia federativa: delimitação no direito constitucional brasileiro / Federative autonomy: delimitation in Brazilian constitucional law.Leonardo David Quintiliano 20 December 2012 (has links)
O federalismo conhece, na experiência moderna, diversas formações e conformações, segundo a ideologia que o permeia e a necessidade histórica que o explica e que o implica. Embora não seja possível falar em um modelo puro ou autêntico de federalismo, há uma característica que lhe é essencial, cuja falta negaria sua própria razão de ser: a coexistência, sob o mesmo poder soberano, de duas ou mais sociedades políticas dotadas de estatalidade. A estatalidade é informada pela existência de um poder político de inaugurar determinada ordem jurídica. No Estado dito unitário, trata-se da soberania. No Estado dito federativo, a soberania convive com o poder político dos Estados federados - a autonomia federativa. Assim como a soberania, a autonomia federativa é um poder político constituinte, mas, ao contrário daquela, é também poder político constituído (competência), limitado pelo poder soberano. A autonomia federativa implica, ainda, a competência para constituir competências políticas e governamentais. Tais limites são postos pelo poder soberano na Constituição do Estado federativo, que define o grau de autonomia federativa. Esse poder tem sofrido oscilações ao longo das Constituições republicanas brasileiras, havendo, em todas elas, considerável disparidade entre a autonomia federativa formal (que o texto revela) e a autonomia federativa real (que se pratica), causada, sobretudo, pelo antagonismo dos interesses políticos e econômicos que determinam, em última instância, a descentralização político-governamental. A presente tese propõe a conceituação e a delimitação da autonomia federativa formal no Direito Constitucional brasileiro posto pela Constituição da República Federativa do Brasil de 1988 / Federalism has had, in the modern experience, different frames and meanings, according to the ideology embedded into it and the historical necessity that explains and implies it. Although it is not possible to advocate a pure or authentic model for federalism, there is an essential feature, whose absence would deny its own reason for being: the coexistence, under the same sovereign power, of two or more political societies with statehood. Statehood is constituted by a political power capable to create a particular legal order. In so-called unitary states, such political power is the sovereignty. In federal states, the sovereignty of nation-state coexists with the political power of federated states - the federative autonomy. Like sovereignty, federative autonomy is a constitutional-political power. However, in contrast to the former, federative autonomy is also constituted political power (competence), limited by the sovereign power. The federative autonomy also implies the competence to establish political and governmental powers. These limits are set by the sovereign power in the Constitution of the federal state, which defines the degree of federative autonomy. Such power has oscillated along the Brazilian republican constitutions. All of them revealed considerable disparity between the formal federative autonomy (which the legal text provides) and the real federative autonomy (which is practiced), which was caused, mainly, by the antagonism between political and economic interests. Such interests ultimately determine political and governmental decentralization. This dissertation advocates the conceptualization and delimitation of formal federative autonomy in the Brazilian Constitutional Law set forth by the Constitution of the Federative Republic of Brazil.
|
185 |
O poder da União na Amazônia e a sua hipertrofia no espaço territorial de Roraima : de Vargas a LulaAssad, Alessandro Tramujas January 2016 (has links)
A presente tese tem por objetivo analisar o Poder da União na Amazônia, sobretudo sua hipertrofia no espaço territorial de Roraima, tendo como marco temporal as ações políticas desenvolvidas a partir do Governo Vargas até Lula, a evidenciar dois períodos bem distintos para Amazônia brasileira. O desenvolvimentismo e a defesa nacional do Governo Vargas e dos Militares (1943-1985) e o da integração internacional e desenvolvimento sustentável, especialmente a partir do Governo Collor (1992) até o Governo Lula. Paralelamente ao tempo histórico da pesquisa, o surgimento do ambientalismo internacional, o fortalecimento dos mecanismos de proteção a um ambiente saudável e a absorção das demandas ambientais e dos interesses indígenas em texto constitucional produzido em ambiente democrático no Brasil/88, ocorre mudança de paradigma nas políticas públicas do Governo Federal para Amazônia. O desenvolvimento e a segurança nacional cedem espaço para uma postura eminentemente preservacionista do ambiente amazônico. A pesquisa confirma a supremacia do Poder da União na Amazônia e o seu desmedido uso quanto a restrição territorial do Estado de Roraima, em afronta ao pacto federativo estabelecido pela Constituição da República/88. A União não reparte equitativamente as obrigações de proteger o meio ambiente nacional entre as unidades federativas, impondo unilateralmente maiores restrições quanto ao uso das terras na região amazônica (periferia), em especial Roraima. É preciso uma postura menos centralizadora e mais cooperativa da União, compreendendo o pluralismo da amazônia brasileira em cada uma das suas unidades federativas com mais independência externa, permitindo-lhes não apenas conservar, mas também produzir e incluir, buscando o almejado desenvolvimento sustentável. / This doctoral thesis aims to analyze the Union Power in the Amazon, especially its enlargement in the sovereign territory of Roraima, with the time frame political actions developed from the Government Vargas to Lula, to high light two distinct periods for the Brazilian Amazon. The developmentalism and national defense Government and Military Vargas (1943-1985) and the international integration and sustainable development, especially from the Collor government (1992) to Lula’s Government. Parallel to the history of research time, the emergence of international environmentalism, strengthening protection mechanisms to a healthy environment and absorption of environmental demands and indigenous interests in the constitutional text produced in democratic environment in Brazil / 88 occurs paradigm shift in public policy of the Federal Government to Amazon. The development and national security give way to an eminently conservationist stanceof the Amazonian environment. The research confirms the supremacy of Union Power in the Amazon and its excessive use as a territorial restriction of the State of Roraima, going against the federal pact established by the Constitution of the Republic / 88. The Union does not divide evenly obligations to protect the national environment among federal units, unilaterally imposing greater restrictions on the use of land in the Amazon region (periphery), especially Roraima. A less centralized approach and more cooperative Union, with more external independence, including the pluralism of the Brazilian Amazon in each of its federal units, allowing them to not only conserve but also produce and include, seeking the desired sustainable development is necessary. / Esta tesis tiene como objetivo analizar la Unión de alimentación en el Amazonas, en especial de su ampliación en el territorio soberano de Roraima, con las acciones políticas desarrolladas marco temporal de la Vargas Gobierno de Lula, para poner de relieve dos períodos distintos de la Amazonia brasileña. El desarrollismo y la defensa nacional y el Gobierno Militar Vargas (1943-1985) y la integración internacional y el desarrollo sostenible, especialmente por parte del gobierno de Collor (1992) para el gobierno de Lula. Paralelamente a la historia del tiempo de investigación, la aparición del ecologismo internacional, el fortalecimiento de los mecanismos de protección al medio ambiente sano y la absorción de las demandas ambientales y los intereses indígenas en el texto constitucional producidos en ambiente democrático en Brasil / 88 se produce cambio de paradigma en la política pública del Gobierno Federal a Amazon. El desarrollo y la seguridad nacional dan paso a una postura eminentemente conservacionista del medio ambiente amazónico. La investigación confirma la supremacía de la Unión de energía en el Amazonas y su uso excesivo como una restricción territorial del Estado de Roraima, que va en contra del pacto federal que establece la Constitución de la República / 88. La Unión no divide uniformemente obligaciones de proteger el medio ambiente nacional entre las unidades federales, imponiendo unilateralmente mayores restricciones en el uso de la tierra en la región amazónica (periferia), especialmente Roraima. Se necesita una postura menos centralizada y más cooperativo de la Unión, incluido el pluralismo en la Amazonia brasileña en cada una de sus unidades federales con independencia externa, lo que les permite no sólo conservar, sino también producen e incluyen, buscando el desarrollo sostenible deseado.
|
186 |
O poder da União na Amazônia e a sua hipertrofia no espaço territorial de Roraima : de Vargas a LulaAssad, Alessandro Tramujas January 2016 (has links)
A presente tese tem por objetivo analisar o Poder da União na Amazônia, sobretudo sua hipertrofia no espaço territorial de Roraima, tendo como marco temporal as ações políticas desenvolvidas a partir do Governo Vargas até Lula, a evidenciar dois períodos bem distintos para Amazônia brasileira. O desenvolvimentismo e a defesa nacional do Governo Vargas e dos Militares (1943-1985) e o da integração internacional e desenvolvimento sustentável, especialmente a partir do Governo Collor (1992) até o Governo Lula. Paralelamente ao tempo histórico da pesquisa, o surgimento do ambientalismo internacional, o fortalecimento dos mecanismos de proteção a um ambiente saudável e a absorção das demandas ambientais e dos interesses indígenas em texto constitucional produzido em ambiente democrático no Brasil/88, ocorre mudança de paradigma nas políticas públicas do Governo Federal para Amazônia. O desenvolvimento e a segurança nacional cedem espaço para uma postura eminentemente preservacionista do ambiente amazônico. A pesquisa confirma a supremacia do Poder da União na Amazônia e o seu desmedido uso quanto a restrição territorial do Estado de Roraima, em afronta ao pacto federativo estabelecido pela Constituição da República/88. A União não reparte equitativamente as obrigações de proteger o meio ambiente nacional entre as unidades federativas, impondo unilateralmente maiores restrições quanto ao uso das terras na região amazônica (periferia), em especial Roraima. É preciso uma postura menos centralizadora e mais cooperativa da União, compreendendo o pluralismo da amazônia brasileira em cada uma das suas unidades federativas com mais independência externa, permitindo-lhes não apenas conservar, mas também produzir e incluir, buscando o almejado desenvolvimento sustentável. / This doctoral thesis aims to analyze the Union Power in the Amazon, especially its enlargement in the sovereign territory of Roraima, with the time frame political actions developed from the Government Vargas to Lula, to high light two distinct periods for the Brazilian Amazon. The developmentalism and national defense Government and Military Vargas (1943-1985) and the international integration and sustainable development, especially from the Collor government (1992) to Lula’s Government. Parallel to the history of research time, the emergence of international environmentalism, strengthening protection mechanisms to a healthy environment and absorption of environmental demands and indigenous interests in the constitutional text produced in democratic environment in Brazil / 88 occurs paradigm shift in public policy of the Federal Government to Amazon. The development and national security give way to an eminently conservationist stanceof the Amazonian environment. The research confirms the supremacy of Union Power in the Amazon and its excessive use as a territorial restriction of the State of Roraima, going against the federal pact established by the Constitution of the Republic / 88. The Union does not divide evenly obligations to protect the national environment among federal units, unilaterally imposing greater restrictions on the use of land in the Amazon region (periphery), especially Roraima. A less centralized approach and more cooperative Union, with more external independence, including the pluralism of the Brazilian Amazon in each of its federal units, allowing them to not only conserve but also produce and include, seeking the desired sustainable development is necessary. / Esta tesis tiene como objetivo analizar la Unión de alimentación en el Amazonas, en especial de su ampliación en el territorio soberano de Roraima, con las acciones políticas desarrolladas marco temporal de la Vargas Gobierno de Lula, para poner de relieve dos períodos distintos de la Amazonia brasileña. El desarrollismo y la defensa nacional y el Gobierno Militar Vargas (1943-1985) y la integración internacional y el desarrollo sostenible, especialmente por parte del gobierno de Collor (1992) para el gobierno de Lula. Paralelamente a la historia del tiempo de investigación, la aparición del ecologismo internacional, el fortalecimiento de los mecanismos de protección al medio ambiente sano y la absorción de las demandas ambientales y los intereses indígenas en el texto constitucional producidos en ambiente democrático en Brasil / 88 se produce cambio de paradigma en la política pública del Gobierno Federal a Amazon. El desarrollo y la seguridad nacional dan paso a una postura eminentemente conservacionista del medio ambiente amazónico. La investigación confirma la supremacía de la Unión de energía en el Amazonas y su uso excesivo como una restricción territorial del Estado de Roraima, que va en contra del pacto federal que establece la Constitución de la República / 88. La Unión no divide uniformemente obligaciones de proteger el medio ambiente nacional entre las unidades federales, imponiendo unilateralmente mayores restricciones en el uso de la tierra en la región amazónica (periferia), especialmente Roraima. Se necesita una postura menos centralizada y más cooperativo de la Unión, incluido el pluralismo en la Amazonia brasileña en cada una de sus unidades federales con independencia externa, lo que les permite no sólo conservar, sino también producen e incluyen, buscando el desarrollo sostenible deseado.
|
187 |
O poder da União na Amazônia e a sua hipertrofia no espaço territorial de Roraima : de Vargas a LulaAssad, Alessandro Tramujas January 2016 (has links)
A presente tese tem por objetivo analisar o Poder da União na Amazônia, sobretudo sua hipertrofia no espaço territorial de Roraima, tendo como marco temporal as ações políticas desenvolvidas a partir do Governo Vargas até Lula, a evidenciar dois períodos bem distintos para Amazônia brasileira. O desenvolvimentismo e a defesa nacional do Governo Vargas e dos Militares (1943-1985) e o da integração internacional e desenvolvimento sustentável, especialmente a partir do Governo Collor (1992) até o Governo Lula. Paralelamente ao tempo histórico da pesquisa, o surgimento do ambientalismo internacional, o fortalecimento dos mecanismos de proteção a um ambiente saudável e a absorção das demandas ambientais e dos interesses indígenas em texto constitucional produzido em ambiente democrático no Brasil/88, ocorre mudança de paradigma nas políticas públicas do Governo Federal para Amazônia. O desenvolvimento e a segurança nacional cedem espaço para uma postura eminentemente preservacionista do ambiente amazônico. A pesquisa confirma a supremacia do Poder da União na Amazônia e o seu desmedido uso quanto a restrição territorial do Estado de Roraima, em afronta ao pacto federativo estabelecido pela Constituição da República/88. A União não reparte equitativamente as obrigações de proteger o meio ambiente nacional entre as unidades federativas, impondo unilateralmente maiores restrições quanto ao uso das terras na região amazônica (periferia), em especial Roraima. É preciso uma postura menos centralizadora e mais cooperativa da União, compreendendo o pluralismo da amazônia brasileira em cada uma das suas unidades federativas com mais independência externa, permitindo-lhes não apenas conservar, mas também produzir e incluir, buscando o almejado desenvolvimento sustentável. / This doctoral thesis aims to analyze the Union Power in the Amazon, especially its enlargement in the sovereign territory of Roraima, with the time frame political actions developed from the Government Vargas to Lula, to high light two distinct periods for the Brazilian Amazon. The developmentalism and national defense Government and Military Vargas (1943-1985) and the international integration and sustainable development, especially from the Collor government (1992) to Lula’s Government. Parallel to the history of research time, the emergence of international environmentalism, strengthening protection mechanisms to a healthy environment and absorption of environmental demands and indigenous interests in the constitutional text produced in democratic environment in Brazil / 88 occurs paradigm shift in public policy of the Federal Government to Amazon. The development and national security give way to an eminently conservationist stanceof the Amazonian environment. The research confirms the supremacy of Union Power in the Amazon and its excessive use as a territorial restriction of the State of Roraima, going against the federal pact established by the Constitution of the Republic / 88. The Union does not divide evenly obligations to protect the national environment among federal units, unilaterally imposing greater restrictions on the use of land in the Amazon region (periphery), especially Roraima. A less centralized approach and more cooperative Union, with more external independence, including the pluralism of the Brazilian Amazon in each of its federal units, allowing them to not only conserve but also produce and include, seeking the desired sustainable development is necessary. / Esta tesis tiene como objetivo analizar la Unión de alimentación en el Amazonas, en especial de su ampliación en el territorio soberano de Roraima, con las acciones políticas desarrolladas marco temporal de la Vargas Gobierno de Lula, para poner de relieve dos períodos distintos de la Amazonia brasileña. El desarrollismo y la defensa nacional y el Gobierno Militar Vargas (1943-1985) y la integración internacional y el desarrollo sostenible, especialmente por parte del gobierno de Collor (1992) para el gobierno de Lula. Paralelamente a la historia del tiempo de investigación, la aparición del ecologismo internacional, el fortalecimiento de los mecanismos de protección al medio ambiente sano y la absorción de las demandas ambientales y los intereses indígenas en el texto constitucional producidos en ambiente democrático en Brasil / 88 se produce cambio de paradigma en la política pública del Gobierno Federal a Amazon. El desarrollo y la seguridad nacional dan paso a una postura eminentemente conservacionista del medio ambiente amazónico. La investigación confirma la supremacía de la Unión de energía en el Amazonas y su uso excesivo como una restricción territorial del Estado de Roraima, que va en contra del pacto federal que establece la Constitución de la República / 88. La Unión no divide uniformemente obligaciones de proteger el medio ambiente nacional entre las unidades federales, imponiendo unilateralmente mayores restricciones en el uso de la tierra en la región amazónica (periferia), especialmente Roraima. Se necesita una postura menos centralizada y más cooperativo de la Unión, incluido el pluralismo en la Amazonia brasileña en cada una de sus unidades federales con independencia externa, lo que les permite no sólo conservar, sino también producen e incluyen, buscando el desarrollo sostenible deseado.
|
188 |
Towards causal federated learning : a federated approach to learning representations using causal invarianceFrancis, Sreya 10 1900 (has links)
Federated Learning is an emerging privacy-preserving distributed machine learning approach to building a shared model by performing distributed training locally on participating devices (clients) and aggregating the local models into a global one. As this approach prevents data collection and aggregation, it helps in reducing associated privacy risks to a great extent.
However, the data samples across all participating clients are
usually not independent and identically distributed (non-i.i.d.), and Out of Distribution (OOD) generalization for the learned models can be poor. Besides this challenge, federated learning also remains vulnerable to various attacks on security wherein a few malicious participating entities work towards inserting backdoors, degrading the generated aggregated model as well as inferring the data owned by participating entities. In this work, we propose an approach for learning invariant (causal) features common to all participating clients in a federated learning setup and analyse empirically how it enhances the Out of Distribution (OOD) accuracy as well as the privacy of the final learned model. Although Federated Learning allows for participants to contribute their local data without revealing it, it faces issues in data security and in accurately paying participants for quality data contributions. In this report, we also propose an EOS Blockchain design and workflow to establish data security, a novel validation error based metric upon which we qualify gradient uploads for payment, and implement a small example of our Blockchain Causal Federated Learning model to analyze its performance with respect to robustness, privacy and fairness in incentivization. / L’apprentissage fédéré est une approche émergente d’apprentissage automatique distribué
préservant la confidentialité pour créer un modèle partagé en effectuant une formation
distribuée localement sur les appareils participants (clients) et en agrégeant les modèles locaux
en un modèle global. Comme cette approche empêche la collecte et l’agrégation de données,
elle contribue à réduire dans une large mesure les risques associés à la vie privée. Cependant,
les échantillons de données de tous les clients participants sont généralement pas indépendante
et distribuée de manière identique (non-i.i.d.), et la généralisation hors distribution (OOD)
pour les modèles appris peut être médiocre. Outre ce défi, l’apprentissage fédéré reste
également vulnérable à diverses attaques contre la sécurité dans lesquelles quelques entités
participantes malveillantes s’efforcent d’insérer des portes dérobées, dégradant le modèle
agrégé généré ainsi que d’inférer les données détenues par les entités participantes. Dans cet
article, nous proposons une approche pour l’apprentissage des caractéristiques invariantes
(causales) communes à tous les clients participants dans une configuration d’apprentissage
fédérée et analysons empiriquement comment elle améliore la précision hors distribution
(OOD) ainsi que la confidentialité du modèle appris final. Bien que l’apprentissage fédéré
permette aux participants de contribuer leurs données locales sans les révéler, il se heurte à des
problèmes de sécurité des données et de paiement précis des participants pour des contributions
de données de qualité. Dans ce rapport, nous proposons également une conception et un
flux de travail EOS Blockchain pour établir la sécurité des données, une nouvelle métrique
basée sur les erreurs de validation sur laquelle nous qualifions les téléchargements de gradient
pour le paiement, et implémentons un petit exemple de notre modèle d’apprentissage fédéré
blockchain pour analyser ses performances.
|
189 |
DISTRIBUTED MACHINE LEARNING OVER LARGE-SCALE NETWORKSFrank Lin (16553082) 18 July 2023 (has links)
<p>The swift emergence and wide-ranging utilization of machine learning (ML) across various industries, including healthcare, transportation, and robotics, have underscored the escalating need for efficient, scalable, and privacy-preserving solutions. Recognizing this, we present an integrated examination of three novel frameworks, each addressing different aspects of distributed learning and privacy issues: Two Timescale Hybrid Federated Learning (TT-HF), Delay-Aware Federated Learning (DFL), and Differential Privacy Hierarchical Federated Learning (DP-HFL). TT-HF introduces a semi-decentralized architecture that combines device-to-server and device-to-device (D2D) communications. Devices execute multiple stochastic gradient descent iterations on their datasets and sporadically synchronize model parameters via D2D communications. A unique adaptive control algorithm optimizes step size, D2D communication rounds, and global aggregation period to minimize network resource utilization and achieve a sublinear convergence rate. TT-HF outperforms conventional FL approaches in terms of model accuracy, energy consumption, and resilience against outages. DFL focuses on enhancing distributed ML training efficiency by accounting for communication delays between edge and cloud. It also uses multiple stochastic gradient descent iterations and periodically consolidates model parameters via edge servers. The adaptive control algorithm for DFL mitigates energy consumption and edge-to-cloud latency, resulting in faster global model convergence, reduced resource consumption, and robustness against delays. Lastly, DP-HFL is introduced to combat privacy vulnerabilities in FL. Merging the benefits of FL and Hierarchical Differential Privacy (HDP), DP-HFL significantly reduces the need for differential privacy noise while maintaining model performance, exhibiting an optimal privacy-performance trade-off. Theoretical analysis under both convex and nonconvex loss functions confirms DP-HFL’s effectiveness regarding convergence speed, privacy performance trade-off, and potential performance enhancement with appropriate network configuration. In sum, the study thoroughly explores TT-HF, DFL, and DP-HFL, and their unique solutions to distributed learning challenges such as efficiency, latency, and privacy concerns. These advanced FL frameworks have considerable potential to further enable effective, efficient, and secure distributed learning.</p>
|
190 |
Investigation of Backdoor Attacks and Design of Effective Countermeasures in Federated LearningAgnideven Palanisamy Sundar (11190282) 03 September 2024 (has links)
<p dir="ltr">Federated Learning (FL), a novel subclass of Artificial Intelligence, decentralizes the learning process by enabling participants to benefit from a comprehensive model trained on a broader dataset without direct sharing of private data. This approach integrates multiple local models into a global model, mitigating the need for large individual datasets. However, the decentralized nature of FL increases its vulnerability to adversarial attacks. These include backdoor attacks, which subtly alter classification in some categories, and byzantine attacks, aimed at degrading the overall model accuracy. Detecting and defending against such attacks is challenging, as adversaries can participate in the system, masquerading as benign contributors. This thesis provides an extensive analysis of the various security attacks, highlighting the distinct elements of each and the inherent vulnerabilities of FL that facilitate these attacks. The focus is primarily on backdoor attacks, which are stealthier and more difficult to detect compared to byzantine attacks. We explore defense strategies effective in identifying malicious participants or mitigating attack impacts on the global model. The primary aim of this research is to evaluate the effectiveness and limitations of existing server-level defenses and to develop innovative defense mechanisms under diverse threat models. This includes scenarios where the server collaborates with clients to thwart attacks, cases where the server remains passive but benign, and situations where no server is present, requiring clients to independently minimize and isolate attacks while enhancing main task performance. Throughout, we ensure that the interventions do not compromise the performance of both global and local models. The research predominantly utilizes 2D and 3D datasets to underscore the practical implications and effectiveness of proposed methodologies.</p>
|
Page generated in 0.0584 seconds