1 |
[pt] CONSULTANDO BANCOS DE DADOS COM LINGUAGEM NATURAL: O USO DE MODELOS DE LINGUAGEM GRANDES PARA TAREFAS DE TEXTO-PARA-SQL / [en] QUERYING DATABASES WITH NATURAL LANGUAGE: THE USE OF LARGE LANGUAGE MODELS FOR TEXT-TO-SQL TASKSEDUARDO ROGER SILVA NASCIMENTO 23 May 2024 (has links)
[pt] A tarefa chamada brevemente de Texto-para-SQL envolve a geração de uma consulta SQL com base em um banco de dados relacional e uma pergunta em linguagem natural. Embora os rankings de benchmarks conhecidos indiquem que Modelos de Linguagem Grandes (LLMs) se destacam nessa tarefa, eles são avaliados em bancos de dados com esquemas bastante simples. Esta dissertação investiga inicialmente o desempenho de modelos Texto-para-SQL baseados em LLMs em um banco de dados disponível ao público (Mondial)com um esquema conceitual complexo e um conjunto de 100 perguntas em Linguagem Natural (NL). Executando sob GPT-3.5 e GPT-4, os resultados deste primeiro experimento mostram que as ferramentas baseadas em LLM têm desempenho significativamente inferior ao relatado nesses benchmarks e enfrentam dificuldades com a vinculação de esquemas e joins, sugerindo que o esquema relacional pode não ser adequado para LLMs. Essa dissertação propõe então o uso de visões e descrições de dados amigáveis ao LLM para melhorara precisão na tarefa Texto-para-SQL. Em um segundo experimento, usando a estratégia com melhor performance, custo e benefício do experimento anterior e outro conjunto com 100 perguntas sobre um banco de dados do mundo real, os resultados mostram que a abordagem proposta é suficiente para melhorar consideravelmente a precisão da estratégia de prompt. Esse trabalho conclui com uma discussão dos resultados obtidos e sugere abordagens adicionais para simplificar a tarefa de Texto-para-SQL. / [en] The Text-to-SQL task involves generating an SQL query based on a
given relational database and a Natural Language (NL) question. While the
leaderboards of well-known benchmarks indicate that Large Language Models
(LLMs) excel in this task, they are evaluated on databases with simpler
schemas. This dissertation first investigates the performance of LLM-based
Text-to-SQL models on a complex and openly available database (Mondial)
with a large schema and a set of 100 NL questions. Running under GPT-3.5
and GPT-4, the results of this first experiment show that the performance of
LLM-based tools is significantly less than that reported in the benchmarks
and that these tools struggle with schema linking and joins, suggesting that
the relational schema may not be suitable for LLMs. This dissertation then
proposes using LLM-friendly views and data descriptions for better accuracy
in the Text-to-SQL task. In a second experiment, using the strategy with
better performance, cost and benefit from the previous experiment and another
set with 100 questions over a real-world database, the results show that the
proposed approach is sufficient to considerably improve the accuracy of the
prompt strategy. This work concludes with a discussion of the results obtained
and suggests further approaches to simplify the Text-to-SQL task.
|
2 |
[pt] GERAÇÃO DE DESCRIÇÕES DE PRODUTOS A PARTIR DE AVALIAÇÕES DE USUÁRIOS USANDO UM LLM / [en] PRODUCT DESCRIPTION GENERATION FROM USER REVIEWS USING A LLMBRUNO FREDERICO MACIEL GUTIERREZ 04 June 2024 (has links)
[pt] No contexto de comércio eletrônico, descrições de produtos exercem
grande influência na experiência de compra. Descrições bem feitas devem
idealmente informar um potencial consumidor sobre detalhes relevantes do
produto, esclarecendo potenciais dúvidas e facilitando a compra. Gerar boas
descrições, entretanto, é uma atividade custosa, que tradicionalmente exige
esforço humano. Ao mesmo tempo, existe uma grande quantidade de produtos
sendo lançados a cada dia. Nesse contexto, este trabalho apresenta uma nova
metodologia para a geração automatizada de descrições de produtos, usando
as avaliações deixadas por usuários como fonte de informações. O método
proposto é composto por três etapas: (i) a extração de sentenças adequadas
para uma descrição a partir das avaliações (ii) a seleção de sentenças dentre
as candidatas (iii) a geração da descrição de produto a partir das sentenças
selecionadas usando um Large Language Model (LLM) de forma zero-shot.
Avaliamos a qualidade das descrições geradas pelo nosso método comparando-as com descrições de produto reais postadas pelos próprios anunciantes. Nessa
avaliação, contamos com a colaboração de 30 avaliadores, e verificamos que
nossas descrições são preferidas mais vezes do que as descrições originais,
sendo consideradas mais informativas, legíveis e relevantes. Além disso, nessa
mesma avaliação replicamos um método da literatura recente e executamos
um teste estatístico comparando seus resultados com o nosso método, e dessa
comparação verificamos que nosso método gera descrições mais informativas e
preferidas no geral. / [en] In the context of e-commerce, product descriptions have a great influence on the shopping experience. Well-made descriptions should ideally inform a potential consumer about relevant product details, clarifying potential doubt sand facilitating the purchase. Generating good descriptions, however, is a costly activity, which traditionally requires human effort. At the same time, there are a large number of products being launched every day. In this context, this work presents a new methodology for the automated generation of product descriptions, using reviews left by users as a source of information. The proposed method consists of three steps: (i) the extraction of suitable sentences for a description from the reviews (ii) the selection of sentences among the candidates (iii) the generation of the product description from the selected sentences using a Large Language Model (LLM) in a zero-shot way. We evaluate the quality of descriptions generated by our method by comparing them to real product descriptions posted by sellers themselves. In this evaluation, we had the collaboration of 30 evaluators, and we verified that our descriptions are preferred more often than the original descriptions, being considered more informative, readable and relevant. Furthermore, in this same evaluation we replicated a method from recent literature and performed a statistical test comparing its results with our method, and from this comparison we verified that our method generates more informative and preferred descriptions overall.
|
Page generated in 0.63 seconds