0x01 前言
3月11日，馬斯克在X（原推特）上發貼宣布，本周將開源Grok。今年2月29日，馬斯克起訴OpenAI及其創始人阿特曼，稱當時成立OpenAI是為造福人類而開發AGI，而OpenAI將非營利組織變成了微軟利益最大化，違反了合約，要求OpenAI恢復開源。
0x02 Grok
Grok從一開始就被認為是馬斯克為公開叫板OpenAI而推出的產品。去年7月12日，馬斯克的xAI公司宣布成立。公司成立的目標，是要專註於回答更深層次的科學問題，期望未來可以用AI去幫助人們解決復雜的科學和數學問題並且「理解」宇宙。
公司成立不到4個月時間，去年11月5日，xAI就釋出了其第一個基於大語言模型的AIGC聊天機器人產品——Grok。
0x03 OpenAI Grok
倉庫地址：https://github.com/openai/grok
0x04 Grokking 論文
論文地址：https://arxiv.org/abs/2201.02177
【Grokking: Generalization beyond overfitting on small algorithmic datasets】
OpenAI在ICLR2021數學推理workshop中釋出的論文【Grokking: Generalization beyond overfitting on small algorithmic datasets】首次引入了神經網路中的Grokking概念。Grokking指的是，當神經網路在小型算術生成數據集上訓練時，即使模型在訓練集上已經表現出過擬合的跡象，只要我們持續訓練，模型有可能突破一個臨界點，從而獲得更高的泛化效能。
0x05 參考
Grokking： https://zhuanlan.zhihu.com/p/658694527
