Utilização de fine-tuning para melhorar o desempenho de customização de modelos de IA(LLM) utilizando QLoRA

PETRI, MarceloCASARA, Lucas PatrickHEIDEMANN, André NicolasALVES, Luiz Carlos MachadoWOLFF, Victor Alexandre2024-03-012024-03-012023-12https://repositorio.animaeducacao.com.br/handle/ANIMA/41635Este artigo apresenta uma avaliação do desempenho de adaptadores QLoRA para modelos de linguagem grandes (LLMs) quantizados. Os adaptadores QLoRA são uma técnica recente que permite melhorar o desempenho de LLMs quantizados sem afetar significativamente sua eficiência. O artigo foi realizado em um conjunto de dados de texto e código e os resultados mostraram que os adaptadores QLoRA podem melhorar significativamente o desempenho de LLMs quantizados em uma variedade de tarefas, incluindo geração de texto, tradução e resposta a perguntas.25ptAttribution 3.0 BraziladaptadoresQLoRALLM quantizadosMoEgeração de textoexpertsdatasetStableBelugaGPTQUtilização de fine-tuning para melhorar o desempenho de customização de modelos de IA(LLM) utilizando QLoRAArtigo Científico