Saúde Desvendada

Grandes Modelos de Linguagem (LLMs) têm demonstrado capacidades impressionantes em diversas áreas, mas seu tamanho e consumo de recursos representam um desafio significativo para sua ampla utilização. A técnica de poda estruturada surge como uma solução promissora para otimizar esses modelos, tornando-os mais acessíveis e eficientes.

A poda estruturada para LLMs pode ser dividida em duas categorias principais: métodos que exigem retreinamento após a poda e aqueles que não. Métodos que evitam o retreinamento geralmente resultam em uma queda notável no desempenho do modelo. Por outro lado, os métodos baseados em retreinamento, embora eficazes, demandam uma quantidade considerável de recursos computacionais, o que pode limitar sua aplicabilidade em certos contextos.

Para superar essas limitações, pesquisadores desenvolveram uma nova estrutura de poda estruturada chamada OOPS (Outlier-aware and quadratic prOgramming based Structured Pruning). O OOPS utiliza uma seleção de unidades de poda sensível a outliers, reconstrução baseada em programação quadrática e destilação em camadas. Essa abordagem inovadora permite que o OOPS execute a poda de modelos sem a necessidade de retreinamento, superando os métodos existentes que também evitam essa etapa. Além disso, ao incorporar a destilação em camadas para treinar as camadas podadas individualmente, o OOPS se destaca em relação a outros métodos baseados em retreinamento, alcançando resultados superiores com custos computacionais mais baixos. Estudos demonstraram a eficácia do OOPS em diversos modelos de linguagem, evidenciando seu potencial para otimizar o desempenho e a eficiência dos LLMs.

Origem: Link