gzip 能做语言建模吗?作者用 beam search 让纯压缩算法续写文本
中文摘要
作者用gzipt,使纯压缩算法gzip结合beam search续写文本。它根据压缩长度打分,无需神经网络和训练参数,实现文本生成。
English Summary
Author developed gzipt, using pure gzip compression with beam search for text generation. It scores candidates by compressed length, achieving language modeling without neural networks or training.
Original Excerpt
作者受《Language Modeling is Compression》中压缩与预测等价关系的启发,构建了 gzipt,用 gzip 的 DEFLATE 滑动窗口对候选续写按压缩后长度打分,实现无神经网络、无训练参数的文本生成。