A DeepMind usou modelos de IA para otimizar seus próprios prompts, com resultados surpreendentes.
Os pesquisadores do Google DeepMind desenvolveram recentemente uma técnica que melhora o poder matemático dos modelos de linguagem de IA como ChatGPT, aproveitando outros modelos de IA para melhorar os prompts – dizer a um modelo de inteligência artificial “respire fundo” melhora os resultados matemáticos nos estudos.
O estudo descobriu que o uso do incentivo humanístico melhorou significativamente as habilidades matemáticas, consistente com resultados anteriores.
OPRO: Uma abordagem revolucionária para aprimorar modelos de linguagem
Em um artigo intitulado “Large Language Models as Optimizers” publicado no arXiv este mês, os cientistas da DeepMind apresentam Optimization by PROmpting (OPRO), um método para melhorar o desempenho de grandes modelos de linguagem (LLMs), como OpenAI ChatGPT e PaLM 2 do Google.
A nova abordagem contorna as limitações dos otimizadores tradicionais baseados em matemática, usando linguagem natural para orientar os LL.M.s na resolução de problemas. A “linguagem natural” é uma forma peculiar de expressar a fala humana cotidiana.
“Em vez de definir formalmente o problema de otimização e usar um solucionador programado para derivar as etapas de atualização, descrevemos o problema de otimização em linguagem natural e então instruímos o LL.M. a gerar iterativamente novas soluções com base na descrição do problema e previamente encontradas soluções”, escreveram os pesquisadores.
Frequentemente, no aprendizado de máquina, técnicas que usam algoritmos, como otimizadores baseados em derivativos, podem servir como um guia para melhorar o desempenho de modelos de inteligência artificial.
Pense no desempenho de um modelo como uma curva em um gráfico: o objetivo é encontrar o ponto mais baixo dessa curva, porque é onde o modelo comete menos erros.
Ao fazer ajustes utilizando a inclinação da curva, o otimizador pode ajudar o modelo a se aproximar cada vez mais do ponto baixo ideal, tornando-o mais preciso e eficiente em qualquer tarefa de projeto.
O papel crucial dos avaliadores e otimizadores LLM no OPRO
OPRO não depende de definições matemáticas formais para realizar esta tarefa, mas em vez disso usa “meta-sugestões” descritas em linguagem natural para estabelecer as bases para o processo de otimização. O LLM então gera soluções candidatas com base na descrição do problema e nas soluções anteriores e as testas atribuindo uma pontuação de qualidade a cada solução.
No OPRO, dois modelos de linguagem principais desempenham papéis diferentes: o marcador LLM avalia funções objetivas, como precisão, enquanto o otimizador LLM gera novas soluções com base em resultados anteriores e descrições de linguagem natural.
Avalie diferentes pares de LLMs de pontuadores e otimizadores, incluindo modelos como variantes PaLM 2 e GPT. O OPRO pode otimizar os prompts do avaliador LLM fazendo com que o otimizador gere iterativamente prompts de pontuação mais alta.
Essas pontuações ajudam o sistema a identificar as melhores soluções, que são então adicionadas de volta ao ‘meta-prompt’ para a próxima rodada de otimização.
Talvez a parte mais interessante do estudo da DeepMind seja o impacto de frases específicas nos resultados.
O impacto das frases na precisão da IA
Frases como “Vamos pensar passo a passo” permitem que cada modelo de IA produza resultados mais precisos quando testado em um conjunto de dados de problemas matemáticos. (Esta técnica tornou-se amplamente conhecida em maio de 2021 graças a um artigo agora famoso intitulado “Large Language Models Are Zero-shot Reasoners”.)
Considere uma pergunta simples como: “Beth assou quatro lotes de duas dúzias de biscoitos ao longo de uma semana.
Se os biscoitos fossem divididos igualmente entre 16 pessoas, quantos biscoitos cada pessoa consumiria?” forneça ao chatbot uma pergunta como esta, mas preceda-a com “Vamos pensar nisso passo a passo” e depois cole a pergunta.
A precisão dos resultados do modelo de IA quase sempre melhora e funciona bem com ChatGPT.
O prompt “Respire Fundo” e seu destaque no PaLM 2
Curiosamente, neste último estudo, os pesquisadores da DeepMind descobriram que “respire fundo e resolva este problema passo a passo” foi o prompt mais eficaz quando usado com o modelo de linguagem PaLM 2 do Google.
Esta frase alcançou a maior precisão de 80,2% no teste no GSM8K (conjunto de dados de problemas de matemática da escola primária). Em comparação, o PaLM 2 alcançou apenas 34% de precisão no GSM8K sem qualquer aviso especial e 71,8% de precisão com o clássico prompt “vamos pensar passo a passo”.
Então, por que isso funciona? Aparentemente, os grandes modelos de linguagem não conseguem respirar fundo porque não têm pulmões nem corpo.
Eles também não pensam e raciocinam como os humanos. O “raciocínio” que eles fazem (“raciocínio” é um termo controverso entre alguns, embora seja facilmente usado como um termo artístico em inteligência artificial) são citados de um enorme banco de dados de livros e frases de idiomas extraídos da web. Isso inclui fóruns de perguntas e respostas com muitos exemplos de “vamos respirar fundo” ou “pensar passo a passo” antes de mostrar soluções mais fundamentadas.
Motivação mediante frases para o aprendizado contínuo
Dizer a um modelo de IA “respire fundo” pode ajudar o LLM a obter melhores respostas ou produzir melhores exemplos de raciocínio, ou resolução de problemas com base no conjunto de dados que alimenta sua rede neural durante o treinamento.
Embora encontrar as melhores maneiras de envolver as pessoas na aprendizagem ao longo da vida seja um pouco confuso para nós, não é um problema para o OPRO porque a tecnologia usa grandes padrões de linguagem para encontrar as frases motivacionais mais eficazes.
Os pesquisadores da DeepMind acreditam que o maior triunfo do OPRO é sua capacidade de analisar muitos sinais possíveis para encontrar aquele que fornece os melhores resultados para um determinado problema. Isso pode permitir que as pessoas obtenham resultados muito mais úteis ou precisos dos LLMs no futuro.
Conclusão: transformando a IA com linguagem natural
A abordagem inovadora da DeepMind, OPRO, para dizer a um modelo de IA “respire fundo”está revolucionando a maneira como os modelos de linguagem de IA resolvem problemas, promovendo resultados mais precisos e úteis. A integração de linguagem natural e a análise de diversos sinais sinalizam um futuro promissor para a IA.
