RESEARCHarXiv CS.CL·5d atrás
Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution
A pesquisa aborda a queda de diversidade em sistemas de co-evolução de LLMs, onde um modelo gera problemas e outro os resolve, comprometendo o aprendizado de currículo autônomo. Para resolver isso, introduz o 'vocabulary dropout', uma máscara aleatória para manter a diversidade, resultando em melhorias no desempenho de solvers em raciocínio matemático.
Mathematical ReasoningDiversityCo-evolutionself-play