はてなブックマーク

だいぶ食傷気味の方も多いかもしれませんが、懲りずに今回もMMM (Marketing/Media Mix Modeling)ネタをやります。この度取り上げるのはこちらです。 そう、PyMC Marketing MMMです。あくまでも僕の観測範囲ですが、広く普及しているPyMCベースなのもあってか、群雄割拠するMMMライブラリの中でも比較的広く支持を集めているように見受けられます。 MMMは歴史の長いマーケティング分析手法で、その実装方法もそれに応じて多岐に渡りますが、近年ではJin et al. (2017)に準拠したベイジアンMMMが主流になりつつようです*1。そのオリジナル実装は僕の勤務先では社内版として利用できますが、それをJAX + NumPyroで再実装したのがLightweight MMM*2、そしてそこに色々なコンポーネントを追加して全面的にTensorFlow Probab

麗々しく自社プロダクトについてのまとめ記事を書くのは若干気が引けるのですが、先日Gemini 2.5 Proにvibe codingということでMMMのサンプルコードを書かせてみたら既にsunset済みのLigthweight MMMを使ったコードが返ってきた上に、よりにもよってこのブログのLMMM紹介記事を参照してくるということがありまして*1、これはいかんということでこのブログでもMeridianの紹介記事を書くこととしました。 Meridianそのものについては公式サイト・ドキュメントやGitHubリポジトリに既に公式のきちんとした説明が沢山ありますので、この記事ではMMMの実務家にとって重要そうなポイントに絞ってご紹介していこうと思います。 Meridianの標準的な実行コード インストールとインポート データ周りのセットアップ モデル設定 MCMCサンプリング モデル診断 メディ

ちょっと前に、回帰分析における多重共線性に関する解説記事を2本ほど書いたわけですが。 多重共線性そのものの問題点はこれでもかと論じている割に、その対処法についてはあまり触れていなかったなと気付いたのでした。ということで、今回の記事では遅ればせながら多重共線性への対処法をある程度網羅的に挙げていこうと思います。 データセット VIFで多重共線性に寄与する変数を特定した上で削除orマージ（第一選択） PCAで変数を削除orマージ（要件次第） L1正則化で変数選択（要件次第） L2正則化で回帰係数同士のバランスをとる（非推奨） ベイズ回帰で事前分布を設定することで多重共線性によるバイアスを軽減させる（事前分布の蓋然性次第） コメントなど データセット まず、x1-5の5つの説明変数から成るデータセットを用意します。真の回帰係数はそれぞれ1, 2, -2, 5, -3.5とし、サンプルサイズは10

先日の記事で「CoTを用いて『推論』する生成AI」の「推論」能力の限界について、論文2点を挙げて論じたところ思いの外反響が大きくてちょっとびっくりしたのでした。 なのですが、最近になって同じテーマに対して「厳密に条件統制されたデータセットを用いてLLMを実際に構築した上で実験した」という論文が出てきたとのことで、ちょっと読んでみました。それがこちらです。 実のところ、読んでみたらかなり技巧的かつ綿密に設計された内容の論文で当初一読した範囲では理解し切れない感じがありました。なのですが、非常に興味深い内容だったのと、その検証手法が斬新だったということもあり、このブログでは珍しいことですが2回連続で論文紹介をしてみようと思います*1。なおいつもながらですが、記事中に理解不足や認識の誤りなどの箇所がありましたら何なりとご指摘くだされば幸いです。 巧みな実験設計：CoT推論に影響し得る「3つの次元

今回のテーマは以前からずっと言われ続けている話題なので特に目新しくも何ともないのですが、たまたま近い時期に2本の似通った内容の論文がarXivに出たので、まとめてダイジェスト的に紹介しようと思います。以下がそれらの論文です。1本目はApple、2本目はGoogle DeepMindによる研究です。 どちらもSNSや技術メディアでは既報の内容であり、ご存知の方も多いのではないでしょうか。これらの論文は本質的には「『推論する生成AI』は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない」と各種の実験結果から指摘するものであり、今後の推論生成AIの研究開発を行う上で新たに考慮されるべき指針を提案しています。 そもそも「推論する生成AI」とは何なのか 「推論する生成AI」は既知の複雑な課題は解けるが、その難易度をどんどん上げていくと解けなくなる 逆に、「推論する生成AI」は既知

某所でボソッと呟いたら結構反応があったので、折角なので小ネタながら記事として書いてみようと思います。 「多重共線性を放置したまま交差検証して汎化性能が確保できたつもりになる」ことの危険性、ブログにまとめたら需要あるんだろうか https://t.co/DkauusM1Ip— TJO (@TJO_datasci) 2025年5月14日 ビジネス実務における回帰分析全般、特にMMMや経営陣向け需要予測モデルなどでありがちなパターンを想定しています。ちなみにこれに類する事例は僕が直接聞いている範囲でも複数実在しており、決して珍しい話ではない旨予めお断りしておきます。 多重共線性を伴うモデルであっても、汎化性能は問題ないことが多い 回帰モデルの評価においては、交差検証を用いて汎化性能を比較することが多い ビジネスの現場においては様々な事情で多重共線性が放置されやすい 結果として、多重共線性を放置し

各技術系メディアでは既に報じられていますが、今年のAAAI*1で会長名によってリリースされた"AAAI 2025 Presidential Panel on The Future of AI Research"の内容が非常に示唆に富んでいたので、改めてやや仔細に読み解いてみようかと思います。 なお、元のレポートは結構なボリュームがありいきなり精読しようとするとしんどいので、NotebookLMにまとめさせたサマリーと論点に対応した原文の箇所を適宜読み返して自分で補いながら*2、つらつらと論じていくこととします。ということで、hallucinationsなどあればご遠慮なくご指摘くだされば幸いです。 レポートの全体構成について（特にAI研究者へのアンケート） 個人的に注目した論点 現在のAIの延長上にAGIは実現しない(76%) LLMの事実性・信頼性の問題はすぐには解決できない(60%)

しばらく前に、こんなことを嘯いたら思いの外反応が伸びたのでした。 「データも見られなければ統計的学習モデルのアルゴリズムも実装コードも見られない」状況で、そのデータ分析のどこにどんな不具合があるかを「分析結果だけを見る」ことで言い当てるのってデータサイエンティスト的には最高に面白いゲームだと思うんだけど、同意してくれる人いますかね— TJO (@TJO_datasci) 2025年2月7日 日本社会にデータサイエンスが本格的に普及するようになって10年強が経ち、空前のDXブームで猫も杓子もデータ活用を喧伝するようになって5年ほどが経ちますが、それでもなお「専門家から見れば中身を調べるまでもなく深刻な不具合のあるデータ分析」が行われていて、挙げ句の果てにその結果や成果物が大手を振って歩いているというケースはチラホラ散見されます。 そこで今回の記事では、ケーススタディ的にそういった「データも実

気付いたらこの企画をやるようになってもう12年も経つわけですが、今年も懲りずに推薦書籍リストを書いてみようかと思います。 昨年との差異ですが、まず「ホットトピックス」枠を削りました。理由は単純で、データサイエンス分野も昨今の多種多様な分野に細分化されていく一方で、「誰もが追いかけるテーマ」が事実上空前の大ブーム下にある生成AIだけになってしまっているからです。このブログのスタンスとしては「生成AIにまつわる最先端のあれこれは他所様に任せる」という方針なので、生成AIのトレンドを取り上げないとなると必然的にホットトピックスもなくなるということで、今回は定番の書籍リストのみ若干の改訂を加えて記すこととします。 一方で、生成AIが普及してきたこともあって「定番」の書籍リストにも相応の入れ替わりがあります。これまた理由はシンプルで、「この程度の実装やコーディングなら生成AIに聞けば十分」というケー

広告・マーケティング分析におけるMMM (Media/Marketing Mix Models)と言えば、このブログでも過去に何度か手を替え品を替え取り上げてきたテーマです。これまでは個々の技術的側面に着目した断片的な内容の記事を多く上げてきましたが、近年明らかにその注目度が高まってきておりますので、満を持して包括的に議論する記事を書いてみようかと思います。 ただ、記事中でも指摘しているようにMMMとはどちらかというとscienceというよりpoliticsに近い性質を持つ分析手法です。よってこの記事の内容もまたpoliticalな要素を含むものであり、是非読者の皆様からの忌憚のない指摘や批判をいただければと思います。 MMMは本質的には「ただの回帰分析」 回帰分析における注意事項は全てMMMにも当てはまる 「説明」「意思決定」に適したモデルを選ぶ 過学習を避け、汎化性能を意識する 多重共

どうも昨年末にあちこちで多重共線性についての議論がなされていたようなんですが、些事にかまけていた僕はすっかりそのウェーブに乗り損ねてしまっていたのでした。そこで、今年最初の記事では遅ればせながらそのウェーブに乗る形で、また今までに学んだり調べてきたりしてきたことの備忘録も兼ねて、多重共線性についてまとめてみようと思います。 多重共線性とは 「予測」が目的なら多重共線性があっても問題ではない 「説明」が目的なら多重共線性に対処する必要があるケース「も」ある 実務における多重共線性への対処法 最後に 多重共線性とは このブログの読者の皆様なら多重共線性が何であるかはご存知かと思いますが、一応簡単な例だけ挙げておきます。ここではサンプルデータとしてBoston Housingを使います*1。 オールドタイプなコーディングで恐縮ですが、Rで適当に前処理した上で線形回帰するとこんな感じになります。

早いもので、2024年も恒例の年末回顧記事を書く時期になりました。ということで、今回は一年を通じて話題に事欠かなかった生成AIに関する最近の論争と、一方でBtoBのビジネスの現場で感じている現実とを綴ることで、今年の振り返りといたします。 自己回帰型モデルによる事前学習全盛の時代に終わりが来る？ 自己回帰型モデル（Transformerなど）そのものに限界があるという考え方 自己回帰型モデルの学習プロセスにまだ改善の余地があるという考え方 ビジネス実務（特にBtoB）の場で見える、理想と現実 最後に、今年一年を振り返って 自己回帰型モデルによる事前学習全盛の時代に終わりが来る？ 11年前に参加して以来NeurIPSの話題に疎くなって久しいのですが、今年はIlya Sutskeberの講演内容が話題を呼んだようで*1、tech industry向けメディアのThe Vergeもこんな特集記事

一般に、ビジネス実務におけるデータ分析というと、経営者や各種ビジネス部門の責任者といったステークホルダーたちが「ビジネス上の意思決定のためのエビデンス」を得る目的で、往々にして社内外のデータ分析の専門家たちに依頼して実施させるものであることが多いかと思います。 そうすると、データ分析業界では太古の昔からの鉄板あるあるネタである「上が〇〇という結果が欲しいと言っているので〇〇という結果になるようにしろ」とか「お客さんが〇〇は経営判断に必要なので分析結果に入れろと言っているから〇〇だけは外さないでくれ」というような、統計学や機械学習の「外側」にある事情が分析プロセスに割り込んでくるという事態が、ほぼ常につきまといます。 で、そういった事態にどう対処するかは、僕個人の観測範囲ではデータ分析業界の中でも割と幅広くやり方が分かれるように見えます。「毅然として断る」という人もいれば、「仕事である以上仕

X (Twitter)を眺めていたら、面白そうな論文が流れてきました。それがこちらです。 実際に流れてきたのはこちらの紹介記事なんですが、その要約を読んだ限りでもなかなかに興味深い現象であるように思われます。 ということで、何番煎じかもはや分かりませんがこのブログでも備忘録的に取り上げてみようと思います。が、ただそれだけでは面白くないので、この論文を読んで僕が個人的に考えた「現実のヒトの脳との関連性」についても論じてみることにします。 論文の概要 LLMの"Super Weights"の役割 "Super Weights"はデータ入力をせずとも特定できる "Super Weights"がLLMの量子化に果たす意義 現実のヒトの脳との比較 マクロに見れば「似ている」 知覚・認知機能に絞って見れば「異なる」 コメントなど 論文の概要 基本的には冒頭にリンクしたまとめ記事でも紹介されている通りで

最近某所で話題になっていたのが「欠損値処理はどうやるべきか」というテーマ。これは太古の昔から「荒れるテーマ」として有名で、今回も大いに荒れていて傍観している側としては面白かったんですが（笑）、古老ともあろう身がただ面白がっているだけでは自分を含めて誰の学びにもならないので、良い機会ということでちょっと欠損値処理に関する備忘録をまとめておこうと思います。いつもながらですが、誤解や理解不足の点などあればどしどしご指摘ください。 大前提 機械学習における欠損値処理は「予測」の助けになるように 統計学における欠損値処理は「パラメータ推定」の助けになるように 感想など 大前提 9年も前にこのブログで書いた記事が今でも時々各所で参照されているようなので引き合いに出しておきますが、そもそも論として機械学習が「予測」を目的とするのに対して統計学は「説明」を目的とすることが多い、という点を指摘しておきます。

先日のことですが、Querie.meでこんな質疑がありました。 これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せかけの回帰」について、久しぶりにちょっと復習を兼ねて書いてみようと思います。 そもそも「見せかけの回帰」とは何か 実際に見せかけの回帰において起きること 見せかけの回帰への対処法 差分系列に変換する VARモデルを使う 動的線形（状態空間）モデルやベイズ構造時系列モデルを使う Rコード そもそも「見せかけの回帰」とは何か このブログでは11年前に沖本本の輪読記事を書いた際に「見せかけの回帰」については一通り取り上げていますので、今回はその際の説明を引用するに留めます。 なお前提知識として先に書いておくと、以下に出てくる「単位根過程」というのは平

先日こんなことを放言したら、思いの外結構伸びてしまったのでした。 「生成AIが博士号レベルの高度な課題解決や推論が出来る」ようになったら、その出力が正しいかどうかを判定できるのは同レベルの専門人材だけなので、そういう人材の需要が逆に高まる気がしている。それはプロの研究者が論文中で捏造や改竄をしても、プロの研究者でないと見破りづらいのと同じかと— TJO (@TJO_datasci) 2024年9月19日 ということで、今回も相変わらずネタ切れでブログに書くことがないので完全に与太記事ですが「生成AI（というかLLM）の推論がどんどん高度になることで逆にユーザーの側に高度なスキルが必要になる」とはどういうことかを、簡単なケーススタディと共に何となく書き綴ってみようと思います。 正解を知った上で生成AIに推論させるケース 正解がいまいち分からない中で生成AIに推論させるケース 生成AIの推論が

先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる託宣が欲しいだけ。機械学習やAIが流行るのもそれが理由— TJO (@TJO_datasci) 2024年8月28日 これはデータサイエンス実務に長年関わる身としてはごくごく当たり前の事情を述べたに過ぎなかったつもりだったのですが、意外性をもって受け止めた人も多ければ、一方で「あるある」として受け止めた人も多かったようです。 基本的に、社会においてある技術が流行って定着するかどうかは「ユーザーから見て好ましいかどうか・便利であるかどうか」に依存すると思われます。その意味でいうと、データ分析技術にと

ベイズデータ解析(第3版) 森北出版Amazon 先日のことですが、『ベイズデータ解析』を訳者のお一人菅澤さんからご恵贈いただきました。もう一目見ただけで「鈍器」以外の語が出てこないくらいの立派な鈍器で（笑）、原著のBDA3*1に負けないくらいの鈍器っぷりが見事な一冊です。菅澤さんといえば名著『標準ベイズ統計学』の翻訳も手掛けておられますが、先日直にお話を伺った際は「本書の方が標準ベイズよりもさらに理論的な内容に踏み込んでしっかり書かれていて良い」とのコメントでした。 ということで、早速本書をレビューしていこうと思います。ただ、何分にも全体で888ページもある大著であり、ぶっちゃけ斜め読みするだけでも1ヶ月近くかかるという有様でしたので、内容の理解が不完全であったり誤ったりしている可能性があります。それらの不備を見つけられた際は、何なりとご指摘くだされば幸いです。 本書の概要 第I部　ベイ

先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。 肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso（L1正則化）回帰で多重共線性を抑えつつ汎化性能を高めるというアプローチを取った、というお話です*1。これは回帰分析という基本に立ち返った、昨今の「猫も杓子も生成AI」という流れからは一線を画した試みで、いかにも玄人好みという感があるなと僕も感じた次第です。 一方で、僕が身を置く広告・マーケティング業界でもMMM (Media/Marketing Mix Models)を初めとして様々なタイプの回帰分析が広く行われていますが、個人的に見聞する範囲では冗談でなく本当にピンキリで、中には「そんなデタラメな回帰分析で本当に役員会の意思決定に使っているんですか？？？」みたいなケースも珍しくありません。

Bula!*1 コロナ禍もすっかり落ち着いてようやく元通り恒例化した我が家の（一足早い）夏休み海外旅行ですが、今年は夏至のフィジーに行ってきました。我々としては初めてのハワイ以外のポリネシア方面への旅になったのですが、事前の期待以上に素晴らしいところで大いに満喫してまいりました。 ということで、いつも通り旅行の記録を兼ねつつ「次回また訪れた時のための備忘録」としての旅行記を綴っておこうと思います。なお我が家は今回が初のフィジー訪問で、フィジーの常連というわけでもなく況してや語学留学や定住などで長期にわたって滞在していたりするわけでもありませんので、事実誤認などあればご指摘くだされば幸いです。 フィジーについて ホテル デナラウ島について フィジーのグルメ ナンディ周辺の観光地 サンベト泥温泉 スリ・シヴァ・スブラマニヤ・スワミ寺院 ナンディ・マーケット 旅をしていて気付いたこと・注意点など

近年のデータサイエンティスト界隈では、僕が以前スキル要件記事でも提唱した通りの「ソフトウェアエンジニアの延長としての機械学習エンジニア」（機械学習メイン）と「アナリストの延長としてのデータサイエンティスト」（統計学メイン）とにキャリアもポジションもカルチャーも分化するようになって久しい印象があるのですが、世の中に溢れる求人情報や各種SNSで流れてくる巷の声を見聞きする限りでは、どう見ても前者の方が数が多い上に需要も旺盛なんですよね。 発展というよりMLを使ったプロダクトでお金稼いでいる会社があって、統計学やエコノメベースでプロダクトを作る事業会社がないだけだと思います。統計学とか示唆出しの手段なので、ブラスでお金稼ぐ感覚がないと居場所がないだけかなと。 https://t.co/PCDQHiIvlJ— be (@behemuhemulove) 2024年6月11日 で、畏友*1beさんがこ

かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事

すっかりおじさんになってしまった身としては近年の日本のミュージックシーンに極めて疎くなって久しいのですが、最近になってAdoさん*1の楽曲に『過学習』というタイトルのものがあるということを知ったのでした。 一体どこで「過学習」なんてマニアックなテクニカルタームが存在することを知って、あまつさえ楽曲のタイトルにしようと考えたのか、というのが不思議で仕方ないのですが、機械学習や統計学を初めとするデータサイエンス領域の人々ぐらいにしか馴染みのなかった語がこうして人口に膾炙しているのかと思うとなかなかに感慨深いものがあります。 ということで、「過学習」とはどういうものであり、どのような場面で生じ、それをどうすれば避けられるか、という点について簡単にまとめてみることにしました。このテーマでは過去に何度もブログ記事を書いており、もはや何周目の話題なんだという感もありますが、温故知新ということでご容赦い

因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し

先日のことですが、Querie*1で以下のような質疑がありました。 恐らくですが、これは僕が懇意にさせていただいているマクリン謙一郎さんがコメントしていた件に関連する話題だと思われます。 たしかにこれではないからHARKingとはちょっと違うと思うんだけど、実際は「同じストーリーを別のデータで何度も解析」してるわけだから多重検定になる。被説明変数は一緒だから複数の説明変数を試して有意になったやつを報告するのと構造は一緒。 https://t.co/WjnK5MnKcJ— Ken McAlinn (@kenmcalinn) 2024年3月11日 分かる人が見れば「典型的な多重比較補正問題だ」と分かる話なんですが、普段から意識していないと意外と見落とされがちなポイントだと思うんですよね。ということで、最近ネタ切れなのを糊塗する目的も兼ねて今回の記事では簡単にこの話題を改めてサクッと深掘ってみよ

統計的因果推論と言えばすっかり統計学分野ではお馴染みのアプローチになった感があり、また機械学習分野でも扱うテーマが複雑化するにつれて注目が高まり続けているトピックスという印象があります。 このブログでも2016年ぐらいから因果推論に関する記事をちらほら書くようになり、僕個人にとってもまた因果推論と言えば馴染み深い概念になってきたという感があります。 一方で、ビジネス実務の現場においても「因果推論」という言葉は使われないにせよ、かなりはっきりと「因果」についての知見もしくは説明可能性が求められるようになってきた、という印象が個人的にはあります。それは良くも悪くもDXブームでありとあらゆるビジネスに関わる事由がデータ化され、「相関」だけなら簡単に見つけられるようになったことで、相関だけからは見えてこない「因果」をはっきりさせたいという願望が浮かび上がってきた、ということなのかもしれません。 そ