This is a cache of https://b.hatena.ne.jp/entry/s/joisino.hatenablog.com/entry/onedata. It is a snapshot of the page as it appeared on 2025-11-26T14:46:40.312+0000.
[B! LLM] 訓練データ1個だけでLLMの推論性能を倍にする - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
  • はてなブックマーク
  • テクノロジー
  • 訓練データ1個だけでLLMの推論性能を倍にする - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
  • Twitterでシェア
  • Facebookでシェア

訓練データ1個だけでLLMの推論性能を倍にする - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

テクノロジー カテゴリーの変更を依頼 記事元:joisino.hatenablog.com
適切な情報に変更
90users がブックマーク コメント 16

    記事へのコメント16件

    • 注目コメント
    • 新着コメント
    tkysktmt
    “推論能力を身に着けるためには、膨大な問題を見る必要はなく、品質の高い少数の問題をひたすら考えることで思考力が身につくと考えられます。本研究はこの差を極端な設定で分かりやすく提示した”

    その他
    kyopeco
    面白いとは思うのと同時にホンマかいなというところかなあ。再現性あるのか誰か試して欲しい。

    その他
    otchy210
    問題集をいくつも解きまくるより一つの問題集を何度も解いた方が良い、とは昔から良く言われていたよね。人間の話だけども。

    その他
    stealthinu
    これめちゃくちゃおもしろい論文だった！知識と思考の学習は別であるということがLLMの学習から説明されてる。そして思考力は良問を考え続けるだけで磨かれるから学習データの頭打ちの問題が起きない。

    その他
    cantaloupe
    [訓練]

    その他
    misshiki
    “厳選した数学の問題 1 問の解き方をLLMにひたすら考えさせ続けると高い推論能力が得られる。なぜ十分なのでしょうか。...一番の要因は、知識を身に着ける訓練と、推論能力を身に着ける訓練は別質ということです。”

    その他
    TakayukiN627
    一方、推論能力を身に着けるためには、膨大な問題を見る必要はなく、品質の高い少数の問題をひたすら考えることで思考力が身につくと考えられます。

    その他
    stealthinu
    stealthinu これめちゃくちゃおもしろい論文だった！知識と思考の学習は別であるということがLLMの学習から説明されてる。そして思考力は良問を考え続けるだけで磨かれるから学習データの頭打ちの問題が起きない。

    2025/11/26 リンク

    その他
    rgfx
    『知識を身に着ける訓練と、推論能力を身に着ける訓練は別質』

    その他
    otchy210
    otchy210 問題集をいくつも解きまくるより一つの問題集を何度も解いた方が良い、とは昔から良く言われていたよね。人間の話だけども。

    2025/11/26 リンク

    その他
    fraction
    π1として選ばれた問題が普通に流通してる公式と全然違うのは確信犯的にやってる？それとも帆のようなふにゃふにゃな物体には特別な公式でもあるの？（次元解析的に見当がつかないが）

    その他
    kyopeco
    kyopeco 面白いとは思うのと同時にホンマかいなというところかなあ。再現性あるのか誰か試して欲しい。

    2025/11/26 リンク

    その他
    hasiduki
    数学の問題を強化学習に使うと性能が全体的に上がるって何かで見たな！！！！！！！！／良問をひたすら解かせると初見の問題にも対応できるようになる！！！！！

    その他
    ET777
    テム・レイみたいな／一回読んだ。なんかすごい話だ／罰則を与え、というのはどういう／“知識を身に着ける訓練と、推論能力を身に着ける訓練は別質”

    その他
    naggg
    “なぜ 1 問を使った訓練で十分なのでしょうか。典型的な LLM の事前訓練では億単位の文書を使いますが、これに比べるとスケールが小さすぎます。一番の要因は、知識を身に着ける訓練と推論能力を身に着ける訓練は別質

    その他
    knok
    なるほどシードを変えて同じ問題を解くのか…

    その他
    xsde
    "知識を身に着ける訓練と、推論能力を身に着ける訓練は別質"

    その他
    mint6626
    人間も同じなんだろう。国語でも数学でも、同じものを何度も何度もやり続けることで、思考能力は高まる。

    その他
    tkysktmt
    tkysktmt “推論能力を身に着けるためには、膨大な問題を見る必要はなく、品質の高い少数の問題をひたすら考えることで思考力が身につくと考えられます。本研究はこの差を極端な設定で分かりやすく提示した”

    2025/11/25 リンク

    その他
    toaruR
    ひとつの問題からでも学ぶところは沢山あるってことなんかな？(・ω・)

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    訓練データ1個だけでLLMの推論性能を倍にする - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

    推論能力を高めるためには、LLM の事後訓練で使う訓練データは 1 つで十分かもしれません。本稿では訓練...

    ブックマークしたユーザー

    • kojietta2025/11/26 kojietta
    • midas365452025/11/26 midas36545
    • cantaloupe2025/11/26 cantaloupe
    • hiropppee2025/11/26 hiropppee
    • hatakazu932025/11/26 hatakazu93
    • zu22025/11/26 zu2
    • misshiki2025/11/26 misshiki
    • TakayukiN6272025/11/26 TakayukiN627
    • yowa2025/11/26 yowa
    • corner05302025/11/26 corner0530
    • stealthinu2025/11/26 stealthinu
    • rgfx2025/11/26 rgfx
    • syou4302025/11/26 syou430
    • tachisanhtn2025/11/26 tachisanhtn
    • mskkwsm2025/11/26 mskkwsm
    • otchy2102025/11/26 otchy210
    • fraction2025/11/26 fraction
    • yuiseki2025/11/26 yuiseki
    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    いま人気の記事 - 企業メディア

    企業メディアをもっと読む

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2025 Hatena. All Rights Reserved.