0x01 前言
3月11日，马斯克在X（原推特）上发贴宣布，本周将开源Grok。今年2月29日，马斯克起诉OpenAI及其创始人奥特曼，称当时成立OpenAI是为造福人类而开发AGI，而OpenAI将非营利组织变成了微软利益最大化，违反了合同，要求OpenAI恢复开源。
0x02 Grok
Grok从一开始就被认为是马斯克为公开叫板OpenAI而推出的产品。去年7月12日，马斯克的xAI公司宣布成立。公司成立的目标，是要专注于回答更深层次的科学问题，期望未来可以用AI去帮助人们解决复杂的科学和数学问题并且「理解」宇宙。
公司成立不到4个月时间，去年11月5日，xAI就发布了其首个基于大语言模型的AIGC聊天机器人产品——Grok。
0x03 OpenAI Grok
仓库地址：https://github.com/openai/grok
0x04 Grokking 论文
论文地址：https://arxiv.org/abs/2201.02177
【Grokking: Generalization beyond overfitting on small algorithmic datasets】
OpenAI在ICLR2021数学推理workshop中发布的论文【Grokking: Generalization beyond overfitting on small algorithmic datasets】首次引入了神经网络中的Grokking概念。Grokking指的是，当神经网络在小型算术生成数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
0x05 参考
Grokking： https://zhuanlan.zhihu.com/p/658694527
