Transformerモデル
トークナイザーは文章をトークンIDに変換し、Transformerはその表現を処理します。設定変更の前に入出力の形状を確認します。
データセットとトークナイザー
実験前に学習・検証・テストデータを分離します。モデルに対応したトークナイザーを使い、パディング、切り詰め、ラベルを確認します。
モデル評価
課題に合う指標を選び、個々の誤りを調べます。テストデータを調整に使わず、過大評価を避けます。
実践課題
小さな文章分類例を実行し、5件の予測を保存して、入力をもとに2件の誤りを説明します。
修了チェックリスト
- 3つのテーマを自分の言葉で説明する。
- 課題を終え、成果物または設計メモを保存する。
- 境界的なケースを試し、限界を1つ記録する。