Utilização de fine-tuning para melhorar o desempenho de customização de modelos de IA(LLM) utilizando QLoRA
Nenhuma Miniatura disponível
Data
2023-12
Tipo de documento
Artigo Científico
Título da Revista
ISSN da Revista
Título de Volume
Área do conhecimento
Modalidade de acesso
Acesso aberto
Editora
Autores
CASARA, Lucas Patrick
HEIDEMANN, André Nicolas
ALVES, Luiz Carlos Machado
WOLFF, Victor Alexandre
Orientador
PETRI, Marcelo
Coorientador
Resumo
Este artigo apresenta uma avaliação do desempenho de adaptadores QLoRA para modelos de linguagem grandes (LLMs) quantizados. Os adaptadores QLoRA são uma técnica recente que permite melhorar o desempenho de LLMs quantizados sem afetar significativamente sua eficiência.
O artigo foi realizado em um conjunto de dados de texto e código e os resultados mostraram que os adaptadores QLoRA podem melhorar significativamente o desempenho de LLMs quantizados em uma variedade de tarefas, incluindo geração de texto, tradução e resposta a perguntas.
Palavras-chave
adaptadores, QLoRA, LLM quantizados, MoE, geração de texto, experts, dataset, StableBeluga, GPTQ