指令資料集策展（instruction dataset curation）

你微調進去的行為，好不過你拿給它看的範例。策展一份指令資料集，就是那種細緻、不起眼的工作：把提示和理想回應組起來，讓它們真正代表你想要的東西——多樣、正確、格式良好，並且不含那些會教出壞習慣的垃圾。

好的策展會在任務的多樣性與難度之間取得平衡、移除重複與近乎重複的項目、濾掉錯誤或不安全的答案，並把格式標準化好讓模型看到一致的結構。一個反覆出現、又有點出人意料的發現是：幾千筆仔細篩過的範例，能勝過數十萬筆雜亂的範例——品質與多樣性比純粹的數量更要緊。人工審查、自動化的品質評分，以及對照測試集做去污染，都是標準步驟。