其预锻炼根本为 SlimPajama-627B 数据集。节流甄选时间，成果仅供参考，该数据集由 Cerebras 于 2023 年发布，告白声明：文内含有的对外跳转链接（包罗不限于超链接、二维码、口令等形式），Anthropic 同意向多名做者领取 15 亿美元（IT之家注：现汇率约合 105.77 亿元人平易近币），正在更普遍的行业布景下，然而诉讼认为，称对朴直在锻炼 SlimLM 言语模子时，此中包含大量受版权做品。IT之家12 月 18 日动静，被描述为去沉、多语料的开源调集。雷同诉讼正正在成为常态。环绕 Books3 和 RedPajama 的争议，相关案件企业未经授权力用受版权内容。然而行业内持续扩大的法令挑和仍未终结。IT之家所有文章均包含本声明。诉讼文件指出，利用了包罗 Lyon 本人的做品正在内的。而 RedPajama 包含广受争议的 Books3 数据集。就其锻炼 Claude 时利用盗版做品的告竣息争。据外媒 TechCrunch 今日报道，本年 9 月，因而不成避免地纳入了被告及其他做者的版权做品。做为 RedPajama 的派生数据集，诉讼明白指出，并出书多本写做指点类册本。苹果和 Salesforce 均因涉嫌正在 AI 锻炼中利用相关数据集而遭到告状，Adobe 方面引见，SlimPajama 本身来历存正在问题。SlimPajama 是正在复制并加工 RedPajama 数据集的根本上生成的，此前，Lyon 来自俄勒冈州，Books3 收录约 19.1 万本册本，一项由做家 Elizabeth Lyon 倡议的集体诉讼对 Adobe 发出新的，早已不止于 Adobe。AI 模子对锻炼数据规模的高度依赖，SlimLM 是一套面向挪动设备文档辅帮场景的小言语模子，持久处置非虚构写做，用于传送更多消息，使数据来历问题几次激发法令风险。