RESEARCH / 04
Hugging Face、コードで水彩画を描くモデルをTRLとOpenEnvで再現 — 1.5M回再生のRL水彩を完全オープンに
Hugging FaceのSergio Paniegoが、Surya Narreddi氏のウイルス動画「言語モデルがコードで描く水彩画」をTRLとOpenEnvで再現。p5.brushを用い、HPSv3とQwen3-VLによる pairwise judgeを組み合わせた報酬設計と、178枚の手作業プールを基に3通りの報酬配分で学習。学習レシピ、環境、データ、モデルを全てHubで公開。