En la actualidad, las tecnologías de la información y comunicación (TIC) se han convertido en herramientas invaluables en el desarrollo de la sociedad. Estas tecnologías están presentes en las empresas, la medicina, la educación, etc. Prácticamente la sociedad ha llegado a un punto en que el principal asistente en cada una de las actividades son las TIC. Esto ha permitido la globalización de todas las áreas donde estas son aplicadas. Las ventajas del uso de las TIC han permitido mejorar y automatizar los procesos en todo nivel, sea en una empresa, una ciudad, una universidad, un hogar, etc. Para hacerlo, las tecnologías se ajustan a las necesidades del usuario y son capaces de interactuar con él, incluso, están en capacidad de interactuar entre sí sin la intervención de un humano. ¿Pero cómo lo hacen y para qué? Las nuevas tecnologías ahora integran varios sistemas y plataformas que están en la capacidad de adquirir información de las personas y sus entornos, analizar esta información y tomar decisiones con base en los resultados del análisis. Estas decisiones se ven plasmadas, por ejemplo, en la mejora de las ventas de una empresa o en la mejora de los procesos de manufactura. Como estos, existen muchos ejemplos que son resultado de numerosas investigaciones que tienen como objetivo mejorar la calidad de vida de las personas en ecosistemas sostenibles. Uno de estos ecosistemas que ha adquirido gran importancia recientemente son las ciudades inteligentes. El valor de las ciudades inteligentes se basa en satisfacer las necesidades de los miembros de su comunidad en armonía con la naturaleza. Esto involucra una mejor administración de los servicios como el transporte, la generación y consumo energético, la seguridad, la gobernabilidad, etc. Sin embargo, transformar una ciudad común en una ciudad inteligente requiere de muchos esfuerzos y recursos, tanto económicos como humanos. Ante este problema, es necesario contar con escenarios similares que incluso sirvan como un banco de pruebas para la implementación de tecnologías y que su implementación en entornos más grandes sea efectiva y con los recursos adecuados. Las universidades, como generadoras de conocimiento, son las llamadas a realizar los procesos de implementación, pruebas y generación de nuevas tecnologías. Su ambiente, administración y organigrama estructural, sumada a extensas áreas que conforman sus campus, permite compararlas con pequeñas ciudades. Esto permite establecer una línea base donde se apliquen todos los componentes necesarios para transformarlos en campus inteligentes (smart campus). Los campus inteligentes buscan mejorar la calidad de la educación a través de la convergencia de nuevas tecnologías. Es importante establecer que un campus universitario pone a disposición de los estudiantes y los miembros de la comunidad todas las condiciones para garantizar la calidad de la educación. Los campus inteligentes, al igual que las ciudades inteligentes, basan sus entornos en satisfacer las necesidades de sus miembros; para esto, es necesario crear procesos o sistemas que adquieran información sobre ellos. Es por esto, que el Internet de las cosas (IoT, acrónimo en inglés de Internet of Things) se convierte en uno de los componentes necesarios para la transformación de un campus tradicional. La información recolectada necesariamente debe convertirse en conocimiento para ejecutar acciones con base en este conocimiento. Estas acciones responden a una toma de decisiones efectiva y eficiente que satisfaga las necesidades de las personas. Para realizar el análisis de datos es necesario contar con una arquitectura que gestione un gran volumen de datos independientemente de su formato. La tecnología que ofrece estas capacidades es el big data, su integración al campus inteligente genera una estructura lo suficientemente robusta para soportar toda la carga del IoT y el análisis de datos requerido por los usuarios. Estas tecnologías, en compañía de la computación en la nube (cloud computing), permiten a los miembros del campus inteligente desarrollar sus actividades en total armonía con los recursos y la naturaleza. Este trabajo de investigación está enfocado en proponer una arquitectura para la gestión de datos en un campus universitario. Este enfoque trata todas las variables que influyen en la educación universitaria. Descubrir estas variables, tratarlas y establecer sus relaciones entre sí, requiere de la integración de las tecnologías mencionadas incluso con modelos de inteligencia artificial que permitan tomar acciones sobre los resultados del análisis de datos.

When focusing on the general area of data mining, high-utility itemset mining (HUIM) can be defined as an offset of frequent itemset mining (FIM). It is known to emphasize more factors critically, which gives HUIM its intrinsic edge. Due to the flourishing development of the IoT technique, the uncertainty patterns mining is also attractive. Potential high-utility itemset mining (PHUIM) is introduced to reveal valuable patterns in an uncertainty database. Unfortunately, even though the previous methods are all very effective and powerful to mine, the potential high-utility itemsets quickly. These algorithms are not specifically designed for a database with an enormous number of records. In the previous methods, uncertainty transaction datasets would be load in the memory ultimately. Usually, several pre-defined operators would be applied to modify the original dataset to reduce the seeking time for scanning the data. However, it is impracticable to apply the same way in a big-data dataset. In this work, a dataset is assumed to be too big to be loaded directly into memory and be duplicated or modified; then, a MapReduce framework is proposed that can be used to handle these types of situations. One of our main objectives is to attempt to reduce the frequency of dataset scans while still maximizing the parallelization of all processes. Through in-depth experimental results, the proposed Hadoop algorithm is shown to perform strongly to mine all of the potential high-utility itemsets in a big-data dataset and shows excellent performance in a Hadoop computing cluster.

No description available.

No description available.

No description available.

No description available.

No description available.

No description available.

No description available.

Large organizations and research institutes store a huge volume of data nowadays.In order to gain any valuable insights distributed processing frameworks over acluster of computers are needed. Apache Hadoop is the prominent framework fordistributed storage and data processing. At SICS Swedish ICT we are building Hops, a new distribution of Apache Hadoop relying on a distributed, highly available MySQL Cluster NDB to improve performance. Hops-YARN is the resource management framework of Hops which introduces distributed resource management, load balancing the tracking of resources in a cluster. In Hops-YARN we make heavy usage of the back-end database storing all the resource manager metadata and incoming RPCs to provide high fault tolerance and very short recovery time. This project aims in optimizing the mechanisms used for persisting metadata in NDB both in terms of transactional commit time but also in terms of pre-processing them. Under no condition should the in-memory RM state diverge from the state stored in NDB. With these goals in mind several solutions were examined that improved the performance of the system, making Hops-YARN comparable to Apache YARN with the extra benefits of high-fault tolerance and short recovery time. The solutions proposed in this thesis project enhance the pure commit time of a transaction to the MySQL Cluster and the pre-processing and parallelism of our Transaction Manager. The results indicate that the performance of Hops increased dramatically, utilizing more resources on a cluster with thousands of machines. Increasing the cluster utilization by a few percentages can save organizations a big amount of money. / Nu för tiden lagrar stora organisationer och forskningsinstitutioner enorma mängder data.För att kunna utvinna någon värdefull information från dessa data behöver den bearbetasav ett kluster av datorer. När flera datorer gemensamt ska bearbeta data behöver de utgåfrån ett så kallat "distributed processing framework''. I dagsläget är Apache Hadoop detmest använda ramverket för distribuerad lagring och behandling av data. Detta examensarbeteär har genomförts vid SICS Swedish ICT där vi byggt Hops, en ny distribution avApache Hadoop som drivs av ett distribuerat MySQL Cluster NDB som erbjuder en hög tillgänglighet.Hops-YARN är Hops ramverk för resurshantering med distribuerade ResourceManagers som lastbalanserarderas ResourceTrackerService. I detta examensarbete använder vi Hops-Yarn på ett sätt där ``back-end''databasen flitigt används för att hantera ResourceManagerns metadata och inkommande RPC-anrop. Vårkonfiguration erbjuder en hög feltolerans och återställer sig mycket snabbt vidfelberäkningar. Vidare används NDB-klustrets Event API för att ResourceManager ska kunnakommunicera med den distribuerade ResourceTrackers. Detta projekt syftar till att optimera de mekanismer som används för ihållande metadatai NDB både i termer av transaktions begå tid men också i termer av pre-bearbeta dem medan samtidigt garantera enhetlighet i RM: s tillstånd. ResourceManagerns tillståndi RAM-minnet får under inga omständigheteravvika från det tillstånd som finns lagrat i NDB:n. Med dessa mål i åtanke undersöktes fleralösningar som förbättrar prestandan och därmed gör Hops-Yarn jämförbart med Apache YARN.De lösningar som föreslås i denna uppsats förbättrar “pure commit time” när en transaktiongörs i ett MySQL Cluster samt förbehandlingen och parallelismen i vår Transaction Manager.Resultaten tyder på att Hops prestanda ökade dramatiskt vilket ledde till ett effektivarenyttjande av tillgängliga resurser i ett kluster bestående av ett tusental datorer. Närnyttjandet av tillgänliga resurser i ett kluster förbättras med några få procent kanorganisationer spara mycket pengar.