今日も1問学びます!
問題
どのような問題に対しても万能な汎用アルゴリズムは存在しないという定理として、最も適切な選択肢を選べ。
バーニーおじさんのルール
モラベックのパラドックス
ノーフリーランチ定理
みにくいアヒルの子の定理
うーん、どれか分かりません…。
1つずつ検索してみます。
バーニーおじさんのルール
機械学習におけるバーニーおじさんのルール(Uncle Bernie’s rule)とは、ニューラルネットワークの重みパラメーターの数に対して、最低限その10倍以上の訓練データ量が必要となる、とする経験則のことである。訓練データの数量の目安とされるが、定理ではなく、あくまで経験則である。その出典(後述)も古く(=最近のディープラーニングに適用できるかどうかは不明で)、数学的に証明されているわけでもないので注意が必要だ。
@IT
へー。バーニーおじさんは10倍重いと覚えようかな。
モラベックのパラドックス
モラベックのパラドックス(Moravec’s paradox)とは、機械学習モデルを含むAI(人工知能)やロボット工学において、例えば「明日の販売数量を予測する」「将棋を指す」といった大人が行うような高度な知性に基づく推論よりも、例えば「おもちゃをつかむ」「興味深いものに注意を払う」といった1歳児が行うような本能に基づく運動スキルや知覚を身に付ける方がはるかに計算資源を要する(つまり難しい)、というパラドックス(逆説)のこと(図1)。例えば人間にとって、高度な大学数学を計算するよりも、近所の公園をランニングする方がはるかに簡単であるが、コンピュータにとっては逆である。
@IT
へー。パラドックスって逆説って意味なんですね!
ノーフリーランチの定理
機械学習におけるノーフリーランチ定理(No Free Lunch theorem:「無料のランチはない」定理)とは、あらゆる問題を効率よく解けるような“万能”の「教師ありの機械学習モデル」や「探索/最適化のアルゴリズム」などは存在しない(理論上、実現不可能)、ということを主張する定理である。
@IT
なるほど、万能なものなど無いってことですね。
あらゆる敵に万能なにゃんこ大戦争キャラなどいないってことかい?
ちなみにまだまだにゃんこ初心者の私は伊達政宗キャラが好きです!
Q周年でデビューしました!
話がそれましたが、正解はこれですね!
ブログのタイトルに入れちゃってますが💦
いちよう次の選択肢、みにくいアヒルの子の定理についても調べました!
みにくいアヒルの子の定理
機械学習におけるみにくいアヒルの子の定理(醜いアヒルの子の定理: Ugly Duckling theorem)とは、何らかの「仮定(=事前知識や偏向、帰納バイアス)」がないと「分類(=類似性の判断)」は(理論上)不可能である、ということを主張する定理である。つまり分類やパターン認識において、あらゆる特徴量を客観的に同等に扱うことはできず、何らかの仮定に基づいて主観的に特徴量選択を行うことが本質的に必要であることを示す。
@IT
へー。何らかの仮定が必要になるよってことかな。
てことで今日は無料のランチなどない!
ということを学びました。