Magistro darbe nagrinėjama pilno teksto paieškos veikimo sparta. Paieškos sistema sukurta naudojantis PHP ir MySQL priemonėmis, taip pat panaudojant Memcached laikinosios atminties valdymo sistemą. Tyrimui atlikti reikalingi duomenys paimti iš RSS srautų agregatoriaus, periodiškai nuskaitančio informaciją iš lietuviškų tinklaraščių. Darbe didžiausias dėmesys skiriamas paieškos variklio indeksavimo ir rezultatų atrinkimo procesų vykdymo trukmei. Tiriant indeksavimo procesą, veikimo sparta išmatuota dirbant su skirtingais duomenų kiekiais. Turint daug duomenų, šis veiksmas reikalauja daug kompiuterio resursų ir gali trukti ilgai. Indeksuojant duomenis proceso trukmė buvo išmatuota naudojant ir nenaudojant Memcached ir ignoruojamų žodžių sąrašų. Paieškos tyrimo metu tirtas paieškos užklausos elementų kiekio įtaka rezultatų atrinkimui. Abiejų procesų veiklų matavimai atlikti naudojant InnoDB ir MyISAM lenteles duomenų saugojimui. Tyrimo metu rasti sprendimai, kuriuos rekomenduojama rinktis realizuojant arba naudojant panašiais principais paremtą paieškos sistemą. / In this Master thesis the performance of full-text search is analyzed. Search engine is implemented by using PHP and MySQL also Memcached cache engine. Data for the research is gathered from RSS aggregator that periodically collects information from lithuanian blogs. The main attention is drawn on speed of both data indexing and search results gathering. While analyzing indexing process the speed of its performance was measured on different data sets. Indexing requires a lot of computer resources and can last long when having a lot of data. The duration of this process was measured with enabled and disabled Memcached service and list of ignored words. A test on how strongly query's number of elements influence the collection of results was performed. Performances were tested by using both InnoDB and MyISAM tables. Paper suggests solutions that are recommended for implementing and using similar search engines.

Tikslas Išanalizavus internetinių puslapių antraštės struktūrą ištirti juose naudojamų metaduomenų įtaką indeksavimui. Tyrimo objektas Internetiniame puslapyje aprašoma antraštė, jos metaduomenys. Problema Randama daug literatūros ir straipsnių apie metaduomenų panaudojimą bei reikšmę internetinių puslapių kūrimui bei žiniatinklio indeksavimui, tačiau sutinkama skirtingų nuomonių šiuo klausimu, vieni teigia, kad mataduomenys turi mažai įtakos žiniatinklio indeksavimui, kiti teigia priešingai. Deja, visa medžiaga apie metaduomenų įtaką pateikiama tik teorinė, o realių pavyzdžių beveik nėra, todėl atlikus tyrimą įsitikinama metažymių naudingumu ir suformuluojamas taisyklingas antraštės aprašymas. Tyrimo metodologija Teoriniai tyrimo metodai: paieškos variklio veikimo apžvalga, paieškos variklių optimizavimą įtakojančių faktorių apžvalga, metažymių aprašymo ir panaudojimo analizė. Praktiniai tyrimo metodai: internetinio puslapio antraštės analizavimas, antraštėje talpinamų duomenų apie metažymes surinkimas, metažymėse aprašomų raktažodžių reikšmių surinkimas, paieškos rezultatų pagal raktažodžius ir puslapio pavadinimą stebėjimas. Naudotos priemonės „Mozila Firefox“ 3.5.9 – žiniatinklio naršyklė „Macromedia Dreamweaver“ 8.0 – internetinių puslapių kūrimo programa. Tyrimo apimtis Indeksavimo našumas palygintas taikant paieškos užklausų pateikimą keliems paieškos varikliams tuo pačiu metu. Tyrimo eksperimentas apima šiuos realizacijos atvejus: paieškos užklausos pagal raktažodžių... [toliau žr. visą tekstą] / The purpose of this bachelor’s paper is to carry out deep research on web indexing which depends from headings. The reason why have been decided to do this research were the numerous information about methods, which increases the better way of web indexing, however, there is no information on practical examples. Very important is high page rank in search engine, because it is main way to the success and popularity. There is possibility to increase page rank by integration of metatags into the page’s headings, however, literature sources gives different articles about metatags operation and their influence to the web indexing, this is the reason which stimulated to research, its proves how the search engine assess heading’s metadata. The research has been made by three search’s engines. The main research object is described in internet’s page headings and its metadata. The theoretical part which has been analysed includes information about operations in search engine, and about the main search engine’s optimization factors, in the internet’s pages heading have been used metatags structure and the value. The research have been done by analysing heading structure and in the heading have been used metadata, where had been investigated the keyword use of metatag and title tag’s influence to the web indexing. The work produced rightful example of headings how should be filled, and recommendations to improve the web indexing. The research which has been... [to full text]

Šiame darbe pasiūlytas algoritmas, gebantis spręsti dviejų klasių problemą bei pasitelkiant tik tekstinį turinį skirtas analizuoti ir klasifikuoti tokius daugialypės terpės dokumentus kaip HTML puslapiai. Taip pat Mozilla Firefox įskiepio pagrindu sukurtas turinio filtras, klasifikuojantis pagal darbe pasiūlytą klasifikavimo algoritmą. Klasifikatoriui apmokyti pasitelktas PHP programavimo kalba realizuotas tiesinis atraminių vektorių algoritmas (SVM). Pagrindinės realizuoto turinio filtro savybės, išskiriančios jį iš daugumos rinkoje esančių analogiškų įrankių, tai galimybė klasifikuoti dar algoritmui nežinomus interneto puslapius bei priklausomai nuo parametrų blokuoti tik dalį arba visą internetinį dokumentą. / An algorithm, able to solve two class problem, designed to analyse and classify multimedia documents such as HTML pages by using textual content, is suggested in the paper. Moreover, content filter based on Mozilla Firefox extension was developed to classify web pages according to the algorithm. Linear support vector machine (SVM) was developed using PHP programming language in order to train the classifier. The main advantage of the content filter we developed which distinguishes it from other analogical tools existing in the market is its ability to classify web pages unfamiliar to the algorithm and to block a part or entire web document depending on setup.