Sveriges mest populära poddar
Microsoft Research Podcast

Abstracts: NeurIPS 2024 with Weizhu Chen 

8 min6 december 2024

Next-token prediction trains a language model on all tokens in a sequence. VP Weizhu Chen discusses his team’s 2024 NeurIPS paper on how distinguishing between useful and “noisy” tokens in pretraining can improve token efficiency and model performance.

Read the paper

Get the code

Fler avsnitt av Microsoft Research Podcast

Visa alla avsnitt av Microsoft Research Podcast

Microsoft Research Podcast med Researchers across the Microsoft research community finns tillgänglig på flera plattformar. Informationen på denna sida kommer från offentliga podd-flöden.