スキルのライフサイクル

このドキュメントは、スキルを「作って終わり」にしないための採用・訓練・評価の運用指針をまとめる。

1. 採用（Adoption）

• 目的: どのレビュー職務を代替・補完するかを明確にする。
• 対象フェーズ: upstream / midstream / downstream のどこに置くかを決める。
• 責任境界: どの判断はスキルが行い、どこから人間へ返すかを定義する。
• 評価指標: 合格基準と不合格基準を先に決める。

追加チェックリスト

• 既存スキルと重複しないか。
• ルーブリックに既存の項目で足りるか、新項目が必要か。
• 既存の schema と整合が取れているか。

2. 訓練（Training）

• 例（examples）/ ゴールデンケース（golden cases）を用意する。
• 典型ケース / 失敗ケース / 例外ケースの3系統を揃える。
• スキルの出力フォーマットがレビュー運用に適合しているかを確認する。

3. 評価（Evaluation）

• ルーブリックに基づいてスコアリングし、合否を判定する。
• CI で自動評価を行い、劣化を検知する。
• スコアが閾値を下回った場合は即修正または人間レビューへ戻す。

評価の観測点

• 誤検知・見逃しのバランスが保たれているか。
• 指摘の具体性があり、修正につながるか。
• 影響度の説明が過不足ないか。

4. 反復運用

• 変更履歴と評価結果を保持し、改善の根拠を残す。
• トレンド悪化が見えたら、スキルを再訓練・再設計する。

5. ガードレール

• スキルが迷った時に返すシグナルを明示する。
• 最終判断は人間が行う前提を崩さない。