素人が野次馬的に Grokking の研究動向を眺めてみた。 動向 たぶんこんな感じ。 [0] Grokking: Generalization beyond overfitting on small algorithmic datasets (2022)最初に「グロッキング」現象を発見し、命名し、調査した論文AIによる要約はこちら [1]…

The Feynman Lectures on Physics Vol. II Ch. 1: Electromagnetism (ファインマン物理学講義 Vol.2 /1章 電磁気学/1.1 電気力) 翻訳本を買ったら話が多くて、あまり読む気が起きなかったが、原典をところどころ機械翻訳で読むと興味深い。(嗜好が機械翻訳に…

定義域、値域を複素数に拡張すると、|sin|≦1 も |cos|≦1 も成り立たない。 複素関数の sin、cos はどんな形になっているんだろう？ 定義域(2次元)→値域(2次元)なので、グラフにすると2+2で4次元になり表現しにくい。 ●大きさ( |sin| ) なら1次元なので、3次…

章の冒頭などで引用されるフレーズ。 前後関係から切り離されたフレーズは、何故か気になり、前後関係を補間する情報を集めたくなる。 例１ Physics from Symmetry 6.3「ディラック方程式」の冒頭 ディラックに関するもう一つの逸話は、彼がリチャード・ファ…

CoCre-Sam (Kokkuri-san) 『CoCre-Sam（コックリさん）：ウィジャボードを集団ランジュバンモデルとしてモデリング融合言語モデルからのダイナミクスサンプリング』 おもしろそう･･･ ウィジャボード（またはコックリさん）を使うような集団的な人間の活動は…

大規模言語モデルにおける「ポチョムキン的理解」(みせかけの理解) 「ポチョムキン」という言葉は、訪問者に偽りの繁栄を印象づけるために作られた、歴史上のポチョムキン村に由来しています。 ポチョムキン村 - Wikipedia ： ポチョムキン的理解：すべてのx…

チューリングマシン (1936年) は理解できそうもないが、 チューリングテスト (1950年) (ブラウザで翻訳できるようにHTML化したものはこちら) の方は式も無く、(機械翻訳すれば) 読むことはできる。 計算機と知能 １．イミテーション・ゲーム 「機械は考える…