はてなブックマーク

この記事の要約 はじめに 問題点の要約 (追記) 先行研究について GARCH(っぽい)モデルによるシミュレーション シミュレーション前の理論分析 選択的夫婦別姓との比較 (追記) ゴルトン゠ワトソン分枝過程について 使用するデータ シミュレーションの技術的な補足 乱数生成について GARCHモデルの結果 シミュレーションの追試 より複雑なシミュレーションについて 男女別 世代重複 創作苗字 三親等の婚姻禁止ルール より高度な人口学的モデル 結論 2024/4/22: 先行研究とゴルトン゠ワトソン分枝過程の解説の追記 2024/4/23: 多数の言い回しのおかしい箇所の校正 2024/4/24: グラフ上の記載ミスとグラフ描画コードを修正 この記事の要約 先日報道された「500年後に日本人が佐藤だけになる」という試算の内容に違和感を覚えた. 資料を確認してみると, 大きな問題のある方法で試

概要 Rubin の 1981年の “The Bayesian Bootstrap” とそれに関連する話の認識共有 以前の投稿でいまいちはっきりしない書き方をしたのでその訂正的な意味合いもある 正直なところ「役に立つ」系の話ではないし 「なるほど」系の話でもない やっぱり BB 自体は「便利な手法の提案」ではなく「都合のいい方法はないよ」という趣旨では? BB/ノンパラメトリックブートストラップ法では, 分布のテールや分布が歪んでいる可能性を無視しており, そういう場面で使うのは適切ではない ただし, 状況によっては BB の応用は有効であるし, なんなら Rubin 自身も多重代入法で使っている 概要 1 はじめに 2 Rubin (1981) での主張 3 その後の展開 4.1 Rubin 自身もブートストラップ法を使っていた 4 まとめ 参考文献 注釈 1 はじめにこれははっきり言っ

概要 Quarto という R Markdown のような動的ドキュメント生成プログラムが開発中 まだ開発版だが野心的な機能をめざしているらしい 単なる R Markdown の再設計ではなく, Jupyter Notebook の変換にも対応している R や Python だけでなく Jupyter カーネルで使える任意の言語でも R Markdown のように扱えるかもしれない 使い方の参考になるようにこの投稿も Quarto を利用して書いている ただしはてなブログは独特の仕様なので一部手動で修正している 先行して Rpubs にアップロードしたものは出力されたHTMLをそのまま使っている. はっきりいってこちらの方が見栄えが良い. 付録としてプレゼンテーション資料への変換, Jupyter Notebook の変換例も用意した github.com 注意 Quarto は最近公開さ

概要 以前にも書いたように Python の pandas は参照透過性に欠けるため, 何度も書き換えて使用するような使い方に向いていない. これは pandas の用途と合わない. pandas をもっと快適にデータハンドリングする方法がないか探したところ, siuba, datar というパッケージを見つけたので紹介する. これらのパッケージの特徴を挙げ, 実験によるパフォーマンス比較してみた. 個人的には siuba のほうが信頼できると思うが, 現時点ではどちらも発展途上のパッケージである. 以前の続きということでタイトルを踏襲したが, 実は私がこれらのパッケージを知ったのは昨日なので「実践」的かどうかは少し疑わしい タイトルの通り R を知っている pandas ユーザーを想定読者としているが, R ユーザでなくても再利用のしやすい書き方は知っていて損はないと思う. その場合は実

概要 去年書いた話のその後の更新について整理した. おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary あとこっちのスライドも閲覧数が少しづつ増えてるようなので Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck 去年の話の直後にいろいろと大きな環境変化あった 改めて変更点と残る問題点をここでまとめる 本当は不具合を潰してから書きたかったが思ったより時間がかかりそうなので「中間報告」 以降の記述のほとんどはこれまでネット上のどこかで断片的に書いていた話で, 今回はそれらを一箇所にまとめただけ tikz について

概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo

概要 はじめに I. 条件付き期待値が全てか? i 条件付き「期待値」だけでよいのか? ii 条件付き期待値の条件とはなにか? メディアミックスモデルを例に 外挿と選択バイアス 補足: 条件付き期待値の条件付けに関して II. 機械学習の性能評価 ≠ ビジネスモデル なのか? 分類モデルと確率の推定 確率推定の評価はできるのか III. こういう話の教科書・参考書はないのか? まとめ 参考文献 概要 『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ』というブログ記事に対する私の昨日の twitter での連続投稿の話を書き改め, 説明不足な部分を補った. 昨日と同様に, (I) 条件付き期待値だけでよいか, (II) ビジネスモデルと機械学習の性能評価は一致しないのか, (

概要 はじめに シミュレーション IIDな時系列 (基本) 独立ではないケース1: AR(1) 2022/1/17 追記: マルチンゲール差分列の中心極限定理 独立ではないケース2: ランダムウォーク 統計学への応用 相関ありの中心極限定理の応用 汎関数中心極限定理の応用 参考文献 概要今月まだ何も書いてなかったのでタイトルの通り中心極限定理の発展的な話をする. といってもAR(1)とランダムウォーク乱数のグラフを描いただけなんだけど. 対象読者: 統計学の入門的な教科書に書いてある中心極限定理 (CLT) や大数の法則は知っているが, そこから先は知らない人 はじめにほとんどの基礎的な教科書に書いてある回帰分析や機械学習のモデルではデータが互いに独立かつ同一の分布 (IID) であると仮定している. これは大数の法則や中心極限定理が成り立つ条件の1つでもあり, よって十分にデータが多けれ

2021/9/10 追記: 改めて更新された話を統合して整理して書き直しました. 以降はこちらを参考にしてください: ill-identified.hatenablog.com 2021/1/15 追記: RStudio 1.4 がリリースされたのでなるべくアップデートしましょう 2020/12/06 追記: Japan.R で今回の話の要約+新情報を『Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck』として発表した. ハイライトは「近々出るRStudio 1.4 があれば fontregisterer はほぼいらなくなる」 2020/10/31 追記: geom

概要この投稿は, 2019年7月15日 に開催された第80回Tokyo.Rでの応用セッションの発表内容を加筆修正したバージョンである. ただし R の話はほとんどなかった. 近年注目を集めている機械学習に対して, 経済学の伝統的な計量経済学 (統計学) がどう影響を受けているか, また逆に機械学習がどのように従来の統計学的なアイディアを取り入れているかについて語る. カバーするトピックはかなり広範囲のため, ある程度の知識がないと難しいだろう. こちらもなるべく簡易に書くよう努力するが, とはいえ高度な話題に対してはそれなりの前提知識を要するのも事実である. 想定読者は, 機械学習か計量経済学の基本的なトピックを知っている (例えばいずれかの標準的な教科書を読んで内容をある程度理解している) 人間である. ただし参考文献リストを多く挙げているので, それらを地道にたどればわからないこともな

概要この記事は 2019/12/7 に開催された Japan.R の発表原稿である.github.com speakerdeck.com 小難しいテクニックを使ったことをアピールせず, なるべく単純な方法だけで, データから何が言えるのか, 何を示せるのかを作業の流れに沿ってチュートリアル風に説明する, というのがコンセプトである. スクレイピングによるデータの取得, 加工, そして要約統計量の計算やグラフの見せ方, といった事柄はほとんどのデータ分析で必要な基礎技術だと思うので, 実践的な例になると踏んでいた. 当初は 5分間のLTの予定だったので要約統計量 (記述統計量) の見方とかだけを話すつもりだったが, 20分枠に変更したことに合わせてボリュームを増そうとしたらバランスが狂った感じになった. (小難しいことをしないとか言いながら色気を出してディープラーニングに手を出そうとしている

概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974

図1: Monte-Carlo, from Neugebauer (2018) イントロダクション モンテカルロ法とは どこを見て収束を確認するか トレースプロット GR統計量 を確認する. 多重連鎖はいくつ必要か 自己相関関数 (ACF, コレログラム) 有効サンプルサイズ 事後診断ツール bayesplot こういう時どうすればいい? GR統計量の値が大きい アルゴリズムを変える 有効サンプルサイズ の値が小さい 低速混合 間引き そもそもプログラムが間違っている場合 まとめ 参考文献 イントロダクションこの投稿は, 第78回R勉強会@東京（#TokyoR） - connpass での LT の内容を加筆修正したものである. 以下は当時のスライドである. bayesplot を使ったモンテカルロ法の実践ガイド from 智志 片桐 以前, Tokyo.R かどこかの懇親会で, マルコフ

Mendeley と Zotero の比較 主な共通点 Zotero の主な長所 Zotero の主な短所 エクソダス, するかい? Better BibTeX for Zotero (BBT) Citation Key についての注意 タイトルの通り, 文献管理の効率化を求めて Mendeley から Zotero に移行する際のメモ. mendeley の機能に不満がある人, zotero に興味がある人には役立つ情報があるかもしれない. www.zotero.org Mendeley と Zotero の比較以下も参考になる.humosy.hatenablog.com humosy.hatenablog.com 主な共通点 文献を階層構造のカテゴリ (コレクション) に分類できる. 文献にタグやリッチテキスト形式のメモを添付可能. 複数のファイルを紐付けることも可能. 重複アイテムの

1 概要 2 はじめに 3 コラムの主題は何か 4 ハラリの『ホモ・デウス』は何を言っているのか 5 アセモグルの研究とは 6 AIは最小二乗法なのか 補足: もう少し形式的な説明 7 主張はどこまで正しくて, どこまで誤りなのか 8 結論 参考文献 1 概要タイトルは釣りではない. しかし人工知能 (AI) や最小二乗法の話は全体の3分の1未満である. 「AI進化の果ての時代に経済学者は何を語るか」みたいなタイトルにしたほうがリーチが良さそうだが, 私はそんな壮大な問題を語ることはできない. 2019/2/18付の日本経済新聞に掲載された小林慶一郎氏の『AIと超人類の時代 弱者がもつ強み』というコラムが twitter で大きな反響を呼んでいたが, そのコラム全体の趣旨について考察されているものが見られなかった*1. Twitter の話題は3日経てば忘れられる傾向にあるので今更感がある

概要 そういや昔 shpファイルをspで読み込んでポリゴンデータをfortifyして属性データと結合してgeom_mapで描画するみたいな記事書いてたなと思い出したので最新の状況に更新しようかと思ったんですが、詳しい話はユタニさんが全部書いてるのでリンクだけ貼って誤魔化そうかな。。。— ill-identified (@ill_Identified) 2018年7月15日 ということで, 地理情報関係のことに関心が向いたところで, こんなツイートが流れてきた. これは面白い。世界の主な都市のストリートをその方角で集計した図。https://t.co/d09RKCmMRR 十字に近い都市は、格子状の街ということになる。北京やトロント。逆にぐちゃぐちゃなローマは円形に近い。コメントに「東京がみたい。あの道はクレージーだ」「東京と京都。全然成り立ちが違うし」 pic.twitter.com/vp

初めに prophet のモデルの説明 ハリボテの R言語 なぜベイズ推定する必要があるのか 結論 補足: バージョン 0.3 で追加された機能について 参考文献 初めに昨年, KFAS, bsts と, いくつか R の時系列モデリングパッケージを紹介記事を書いた. FaceBook によって開発されたという prophet パッケージも紹介したかったところだが, 日本語での説明は既に公開されている hoxo_m 氏のものが網羅的であり, 使い方の解説としてはこれ以上やることがほぼないと言っていい. Prophet入門【R編】Facebookの時系列予測ツール from hoxo_m Prophet入門【理論編】Facebookの時系列予測ツール from hoxo_m あとはあるとすれば紹介論文やヘルプの全訳くらいだが, そんな面倒 (かつ退屈) なことはしたくない. そこで, pro

発端 www.datasciencecentral.com というData Science Central の記事が, "A good reminder that Data Science Central is completely insane" https://t.co/68esZTv88d— mat kelcey (@mat_kelcey) 2018年5月22日 (Data Science Central が完全にデタラメであることを思い出させてくれる好例) とひどい言われようである. 何がおかしいのかPython で同様の図を作ってみる. boundary の関数が何なのかはわからないが, 忖度してロジスティック曲線 を使って表してみた*1. 一方で, よく見かけるロジスティック回帰の図解はこれだろう. なにかがおかしい. ロジスティック回帰は2通りに分類するものだから, 目的変数

本記事は 以下の2018年4月1日付のエイプリルフール特別企画エントリのネタバレ編です. 文体が多少異なりますが, 内容は概ね同じです. こちらの記事が読みづらいという方は本エントリをお読みください. ill-identified.hatenablog.com 概要最近は知識をひけらかす系の記事を書くことが多いので, たまには変わったことをしようと思う. 近年は人工知能, いわゆるAI技術の発展が著しく, 技術的特異点の到来は近いというビジョンを得た予見者が辻説法する様子もよく見かける. このように人工知能が注目される理由を端的に言えば, 従来のように予めプログラムされた単純動作しかできない機械よりも, 複雑なタスクに対してより柔軟に対応できるため, 人間の労働力の代用になるとされるからである. そこで, 私も人工知能の流行に乗るべく, 私が普段書いているブログ記事を人工知能に代筆してもら

概要渡辺澄夫の『ベイズ統計の理論と方法』 (以下, 渡辺本) は, 私のように統計学は多少知ってるものの, 統計力学を知らない人間にとっては, 「自由エネルギー」だの「分配関数」だのが何を意図して定義された統計量 (物理量?) なのかよくわからず, はじめは数式を目で追うことしかできなかった. 加えて, 渡辺本は, 実務に役に立つテクニックなどといった趣旨の本ではなく, 統計学的なモデリングや機械学習*1の理論を統一的に説明することを目的としている. そのため, 統計モデルを抽象的に一般化してその性質を説明する一方で, 混合分布モデルとか, ニューラルネットとか具体的な手法についての言及は控えめであることも, 人によっては理解が進まない原因になっていそうである. しかし, 難解であっても, 渡辺本に書かれている内容は非常に価値がある. 例えば, 以前私が [教材] 今更だが, ベイズ統計と

報告これまで勤務していたネイチャーインサイト株式会社を本年最終営業日の2017年12月28日付けで退職いたしました. 新卒で入社してから3年以上の間, おせわになりました. 再就職先は既に決まっています. しかるべき時期がくれば公表します. また, 転職を考えるに際して, SNSでお声がけ頂いた多くの企業・私人の皆様にこの場を借りてお礼申し上げます. 以上, エンジニアの間で流行っている退職エントリをやってみた. 前職の職務内容については委細を公表することはできない. ポジティブなことであれ (もちろんネガティブなことであれ) 些細なことであれするつもりはない. しかし, これだけだと寂しいので, 以下は私の就活体験を勝手に書き綴る. 読者にとって何らかの足しになるかは不明だが. そして残念ながら, おそらくこの記事が今年最後の更新になる. もっと別の内容を期待した方には申し訳ない. 20

概要 まだ日本語情報の少ない KFAS を一連の状態空間モデルネタの続きとして紹介する. KFAS には一番良く使われている dlm パッケージよりも優れた点がいくつもある. 前回のように, パッケージの理念・構文・具体例を用いた実験を順に紹介していく. 状態空間モデルを扱う Rパッケージの中では dlm が最も有名だが, これは名前の示すように動的線形モデル dynamic linear model, すなわちノイズが正規分布になる, ガウシアン線形状態空間モデルしか扱うことができない. これに対して KFAS の長所はいくつもあり, 特に正規分布いがいの分布も扱うことができるという点は特筆すべきである. なお, KFAS を日本語で紹介している文献は, 伊東先生の発表スライド, Rパッケージ“KFAS”を使った時系列データの解析方法 from Hiroki Itô 伊東 (2017,