Om avsnittet
A lack of appropriate data, decreased model performance, and other obstacles have made it difficult to expand the input language models can receive. Li Lyna Zhang introduces LongRoPE, a method capable of extending content windows to more than 2 million tokens.
Fler avsnitt
Visa alla avsnitt av Microsoft Research PodcastMicrosoft Research Podcast med Researchers across the Microsoft research community finns tillgänglig på flera plattformar. Informationen på denna sida kommer från offentliga podd-flöden.