はじめに
G検定に向けたカンペを作っておこうと思う。
ネットと書籍の情報だと、カンペはOKらしいので、
2021年7月の公式サイトのシラバスに乗っている単語を中心に記載する。
カンペ
人工知能の定義
人工知能とは何か
コンピュータを使って、学習・推論・判断など人間の知能のはたらきを人工的に実現したもの。
AI効果
人工知能で何か新しいことが実現され、その原理が分かってしまうと、「それは単純な自動化であって知能とは関係ない」と結論付ける人間の心理的な効果
人工知能とロボットの違い
ロボット：あらかじめプログラムされた動作を正確に行う。自己判断で進めることはできない。
人間で例えると「体」
人工知能：自立して発展していく。自ら学習して精度を高めることができる仕組み。
人間で例えると「脳」
エージェント
事前に定義された目標を達成するためのコードまたはメカニズム
「チャットボット」「ソフトウェア」など
古典的な人工知能
将棋のプログラムや掃除ロボット、あるいは質問に答える人工知能
入力と出力を関係づける方法が洗練されており、入力と出力の組み合わせの数が極端に多いもの
機械学習
経験からの学習により自動で改善するコンピューターアルゴリズムもしくはその研究領域
ディープラーニング
ディープニューラルネットワークを用いて学習を行うアルゴリズム
人工知能研究の歴史
ダートマス会議
1956年に開催された、人工知能という学術研究分野を確立した会議の通称である。
ジョン・マッカーシーが主催。
人工知能研究のブームと冬の時代
社会がAIに期待することと、実際にできることの乖離が大きく、
実用化できなくなってしまう。
エニアック（ ENIAC ）
アメリカで製作された世界初の汎用コンピュータ
エレクトロニクスの高速性と複雑な問題を解くために、
プログラミング可能な能力を初めて併せ持った計算機。
ロジック・セオリスト
人間の問題解決能力を真似するよう意図的に設計された世界初のプログラム。
「世界初の人工知能プログラム」と称された。
トイ・プロブレム
迷路やオセロのようにルールとゴールが決まっている問題をAIで解くことであり、
そのような世界観の問題しか解けないことを指す。
第1次AIブームで用いられた
エキスパートシステム
初心者でも専門家と同じレベルの問題解決が可能となるよう、
その領域の専門知識をもとに動作するコンピュータシステム
第2次AIブームで用いられた
第五世代コンピュータ
人工知能コンピュータの開発を目標にした、
通商産業省所管の新世代コンピュータ技術開発機構が、
1982年から1992年にかけて進めた国家プロジェクトの計画名称
ビッグデータ
ビッグデータ とは、一般的なデータ管理・処理ソフトウエアで
扱うことが困難なほど巨大で複雑なデータの集合
特徴量
分析すべきデータや対象物の特徴・特性を、定量的に表した数値
推論・探索の時代
第1次AIブームのこと
知識の時代
第2次AIブームのこと
機械学習と特徴表現学習の時代
第3次AIブームのこと
ディープブルー
IBMが開発したチェス専用のスーパーコンピュータ
1996年には世界チャンピオンを破った
機械学習ではなく、「力任せの探索」
探索・推論
ハノイの塔
1つの棒に通された数枚の円盤を、定められたルールに従って、
他方の棒に移動するパズル
モンテカルロ法
確率変数のサンプリングをコンピューターを用いて行うことで、
数学的問題を（主として数理統計学における意味で）数値的に解く手法
探索木
計算機科学において特定のキーを特定するために使用される木構造
幅優先探索
始点となるノードから隣接するノードを探索し、
さらに隣接するノードに対して探索を繰り返して目的のノードを探す。
深さ優先探索
アルゴリズムは根から始まり、バックトラックするまで可能な限り探索を行う。
「縦型探索」とも呼ばれる。
プランニング
探索により、ロボットの行動計画を作成すること
STRIPS(Stanford Research Institute Problem Solver)
「前提条件」、「行動」、「結果」の３つの組み合わせで記述する
プランニングの手法
SHRDLU
1968年から1970年にかけて、テリー・ウィノグラードによって実施された
人工知能研究初期の研究開発プロジェクト
AlphaGo(アルファ碁）
Google DeepMindによって開発されたコンピュータ囲碁プログラム
2015年10月に、人間のプロ囲碁棋士を破った
ヒューリスティック
経験則や勘に基づいて答えを導き出す発見的問題解決手法
MiniMax法
想定される最大の損害が最小になるように決断を行う戦略
αβ法
基本的にミニマックス法と同じであり、同じ計算結果が得られるが、
ゲーム木において、計算しなくても同じ計算結果になる部分を枝刈りする。
αカット：最小のスコアを選ぶ際、既に出現したスコアより大きいノードを弾く。
βカット：最大のスコアを選ぶ際、既に出現したスコアより小さいノードを弾く。
ブルートフォース
総当たり攻撃。可能な組合せを全て試すやり方。
知識表現
人工無能
人間的な会話の成立を目指した人工知能に類するコンピュータプログラム
いわゆるチャットボットのような、データベースから問い合わせに対する
回答をマッチさせる仕組み。
知識獲得のボトルネック（エキスパートシステムの限界）
シンボルグラウンディング問題とフレーム問題のように、
実世界の意味と結びつけられなかったり、
関係ある知識だけを選び出すことが難しいという困難さのこと
意味ネットワーク
人間の記憶の一種である意味記憶の構造を表すためのモデル
有向グラフまたは無向グラフなど。
オントロジー
知識・情報を構造化し整理するモデルのこと。
「物事の存在」について考え、概念を体系化する学問のこと。
トム・グルーパーが、「概念化の明示的な仕様」と定義している。
ヘビーウェイトオントロジー：哲学的な知識
ライトウェイトオントロジー：効率重視な知識
概念間の関係（is-a と part-of の関係）
is-a：継承関係。哺乳類-犬みたいな
part-of：上下関係。車-部品みたいな
東ロボくん
「ロボットは東大に入れるか」において研究・開発が進められている人口知能
国立情報学研究所が2011年から研究している
ワトソン君
IBMが開発した質問応答システム・意思決定支援システム
2006年に開発を開始。
イライザ（ ELIZA )
1964年にジョゼフ・ワイゼンバウムによって開発された
コンピュータプログラム。相手の発言から、
事前に登録したパターンと比較し、返答するチャットボット
イライザ効果
コンピュータのことを、自分とコミュニケーションがとれる
人間だと誤認してしまうこと。
マイシン（ MYCIN ）
血液中のバクテリアの診断支援をするルールベースのプログラム
エキスパートシステムの一種。
スタンフォード大学で開発された。
感染した細菌に合った抗生物質を処方することができる。
DENDRAL
1960年代の人工知能プロジェクト
未知の有機化合物を質量分析法で分析し、有機化学の知識を使って特定する
スタンフォード大学で開発された。
インタビューシステム
専門家が持つ知識を、上手にヒアリングするシステムのこと
has-aの関係
あるオブジェクトが他のオブジェクトを所有している場合に成立する関係
~を含む、のような包括関係。
Cycプロジェクト
一般常識をデータベース化し（知識ベース）、人間と同等の
推論システムを構築することを目的とするプロジェクト
推移律
集合の二つの要素間の関係に関する条件の一つ。
集合の二要素 x、y の間に関係 R があることを xRy と書くことにしたとき、
「xRy かつ yRz なる限り常に xRz」が成立するならば、
関係 R は推移律を満たす。
ウェブマイニング
ウェブサイトの構造やウェブ上のデータを利用して行うデータマイニングのこと
データマイニング
統計学、パターン認識、人工知能等のデータ解析の技法を
大量のデータに網羅的に適用することで、
有用な知識を取り出す技術のこと。
Question-Answering
質問応答システムのこと。
自然言語の質問をユーザから自然言語で受けつけ、
その解答を返すようなコンピュータソフトウェア
セマンティックWeb
Webページに記述された内容について、
「情報についての情報」（いわゆるメタデータ）を一定の規則に従って付加し、
コンピュータシステムによる自律的な情報の収集や加工を可能にすること
機械学習・深層学習
ニューラルネットワーク
機械学習の一つで、人間の神経回路をマネすることで
学習を実現しようとするもの。
レコメンデーションエンジン
一般的には対象者の何らかのアクションに対して、
判断し予測するステップを経てコンテンツをリアルタイムに提示する。
Amazonとかで、おススメがでてきたりするアレ
スパムフィルター
スパムメール（迷惑メール）であるかどうかを判定する仕組み
統計的自然言語処理
複数の単語をひとまとまりにした単位で用意された
膨大な量の対訳データをもとに、「最も正解である
確率が高い訳」を選択。
（従来は文法構造や意味構造を分析している。）
コーパス
対訳データのこと。自然言語処理の研究に用いるため、
自然言語の文章を構造化し大規模に集積したもの
単純パーセプトロン
ニューラルネットワークの元祖。1958年に、
フランク・ローゼンブラットが考案した。
誤差逆伝播法
1986年に命名された、ニューラルネットワークを
学習させる際に用いられるアルゴリズム。
累計された誤差の値が小さくなるように、
枝の重みを右から左に順番に更新すること。
自己符号化器(オートエンコーダ)
入力データと一致するデータを出力することを目的とする教師なし学習。
入力したデータの次元数をいったん下げ、再び戻して出力する。
ILSVRC
2010年から始まった大規模画像認識の競技会。
2012年、ジェフリーヒントン率いるAlexNetがディープラーニングを
用いて優勝。これを受けて、第3次ブームに発展。
次元の呪い
データの次元数が大きくなり過ぎると、
そのデータで表現できる組み合わせが飛躍的に多くなってしまい、
手元にあるサンプルデータでは十分な学習結果が得られなくなること
パターン認識
画像や音声など膨大なデータから一定の特徴や規則性のパターンを識別して取り出す処理のこと
特徴抽出
画像の関心部分をコンパクトな特徴ベクトルとして効率的に表現する、一種の次元削減
OCR(Optical Character Recognition/Reader)
手書きや印刷された文字を、スキャナによって読みとり、
コンピュータが利用できるデジタルの文字コードに変換する技術
人工知能分野の問題
フレーム問題
有限の情報処理能力しかないロボットには、
現実に起こりうる問題全てに対処することができないことを示すもの
1969年にジョン・マッカーシーが提唱。
チューリングテスト
アラン・チューリングが提案した、ある機械が「人間的」かどうかを判定するためのテスト
強いAIと弱いAI
・強いAI(汎用型AI)：人間の知能に近い機能を人工的に実現するAI
・弱いAI(特化型AI)：人間の知能の一部に特化した機能を実現するAI
シンボルグラウンディング問題
記号で指し示されるものをAIがどのように認識するかという問題
身体性
人間の経験や体験に基づくもの。
シンギュラリティ
AIが人類の知能を超える転換点（技術的特異点）
それにより人間の生活に大きな変化が起こるという概念
レイ・カーツワイル
「シンギュラリティは2045年に到来する」
ヒューゴ・デ・ガリス
「シンギュラリティは21世紀後半に到来する」
イーロン・マスク
シンギュラリティに危機感を持ち、非営利組織OpenAIを設立
オレン・エツィオーニ
「シンギュラリティは100万年後に特異点を迎える可能性はある。
しかし、世界制覇すると言う構想は馬鹿げている。」
ヴィーナー・ヴィンジ
「機械が人間の役に立つふりをしなくなる」
スティーブン・ホーキング
「AIの完成は人類の終焉を意味するかもしれない」
ローブナーコンテスト
1991年から開催されている
チューリングテストに合格する会話ソフトウェアを目指すコンテスト
中国語の部屋
ジョン・サールが発表した
中国語を理解できない人を小部屋に閉じ込めて、
マニュアルに従った作業をさせる思考実験。
ルールベース機械翻訳
1970年代。登録済みのルールを適応することで原文を分析し、訳文を出力する機械翻訳の方法
統計学的機械翻訳
1990年代。統計学や確率論に基づく機械翻訳の方法
特徴表現学習
画像・音声・自然言語から特徴表現を自動的に抽出する学習のこと
教師あり学習
線形回帰(LinearRegression)
データの分布があったとき、
そのデータに最も当てはまる直線を考えるというもの。
ちゃんと書くと、「説明変数を用いた一次関数で、
目的変数を求める手法」。
正規加項を加えた手法として、
ラッソ回帰と、リッジ回帰が存在する。
ロジスティック回帰
分類問題に用いる手法。
シグモイド関数を用いて、閾値で正例(+1)と負例(0)を分類する。
3種類以上の分類は、ソフトマックス関数を使う。
ランダムフォレスト
ざっくり、「バギング」＋「決定木」を用いる手法。
ブートストラップサンプリングを用いて学習。
複数の決定木の結果から、多数決で出力を決定。
過学習を起こしやすいという弱点を克服
ブースティング
一部のデータを繰り返し抽出して、複数のモデルを学習させる。
バギングと違い、逐次的に学習させる。
AdaBoost、XGBoost、勾配ブースティングがある。
サポートベクターマシン(SVM)
各データ点との距離が最大となるような境界線を求めることで、
パターン分類を行う。距離を最大化することを、マージン最大化と言う。
カーネル関数を用いて計算を行うが、計算量が非常に大きくなるため、
カーネルトリックと言う手法を用いて、計算量を抑えることができる。
自己回帰モデル(AR)
ある時刻 t の値を、時刻 t よりも古いデータを使って回帰するモデル。
今日までの我が身の生き方から明日の我が身を占う。
分類問題
データをそれぞれカテゴリに分類する手法
回帰問題
学習時に入力データと出力データから対応する規則を学び、
未知の入力データに対して適切な出力結果を生成する手法
半教師あり学習
少量の教師データ（ラベル付きデータ）を用いることで、
大量のラベル無しデータを、より簡単に学習させることができるモデル
ラッソ回帰(LASSO)
変数選択と正則化の両方を実行し、生成する統計モデルの予測精度と
解釈可能性を向上させる回帰分析手法
リッジ回帰(Ridge)
過学習を防ぐため線形回帰に正則化項(ペナルティ項)として、
L2ノルムを導入したモデル。
アンサンブル学習
単独では強い手法ではない手法を複数使って精度を上げる方法
バギング
全体の一部のデータを用いて、
複数の手法で並行して学習するモデル
勾配ブースティング
「勾配降下法＋アンサンブル学習＋決定木」の3つの手法が組み合わせた
機械学習の手法。
ブートスラップサンプリング
母集団となるデータがあるときに、
母集団から重複を許してランダムにいくらかデータを取り出して再標本化をする手法
多層パーセプトロン
単純パーセプトロンの層を増やしたモデル
入力層・中間層・出力層に分かれている。
活性化関数
入力のなんらかの合計から、出力を決定するための関数。
シグモイド関数
任意の値を0から1に写像し、正例(+1)と負例(0)に分類するための関数
閾値を設定し、閾値を境に正例or負例に分類することができる。
ソフトマックス関数
3種類以上の分類を行いたい場合に、シグモイド関数に
代わって扱う活性化関数。各ユニットの総和を１に
正規化することができる。
主に分類問題の出力層で使われる。
ベクトル自己回帰モデル（VARモデル））
時間の経過とともに変化する複数の量の間の関係を
キャプチャするために使用される統計モデル
隠れ層
入力層と出力層の間の層（中間層）の別称
疑似相関
2つの事象に因果関係がないのに、
見えない要因によって因果関係があるかのように推測されること
重回帰分析
回帰分析において独立変数が2つ以上のもの。
相関が強い2つ以上の説明変数を採用すると、予測精度が悪化する。
これを多重共線性(MultiCpllonearity)と呼ぶ。
AdaBoost
ブースティングの手法の一つ
弱い識別機を組みわせて、強い識別機を作成する手法
教師なし学習
k-means法
非階層型クラスタリングのアルゴリズム。
クラスタの平均を用いて、与えられたクラスタ数をk個に分類する
ウォード法
クラスター間の距離を定義する距離関数のひとつ
集合PとQがあるとき、
d = E – E(P) – E(Q) で定義されるdを、
PとQの距離とする。
主成分分析
データの特徴量間の送還を分析することで、
データの構造をつかむ手法
寄与率を見ると、重要性がわかる。
主成分を見ると、意味を推測できる。
協調フィルタリング
利用者の閲覧履歴等を収集して、推論して提案する仕組み
「ほかのユーザーはこんな記事も読んでいます。」的な
内容ベースフィルタリング
あるユーザーが購⼊した商品のタグ情報から、類似の商品を探し推薦する方式
トピックモデル
自然言語処理の分野で用いられる統計的潜在意味解析の一つで
「言葉の意味」を統計的に解析していく手法
クラスタリング
データ間の類似度にもとづいて、データをグループ分けする
教師なし学習の一手法
クラスタ分析
異なる性質のものが混ざり合った集団から、
互いに似た性質を持つものを集め、クラスターを作る
レコメンデーション
過去のお客様の購買履歴をもとに好みを分析し、
そのお客様の興味・関心がありそうな情報を提示すること
デンドログラム（樹形図）
クラスター分析において、
逐次的に標本がグループ化される様子を木の枝のような線で表したもの
特異値分解
線形代数学において、
複素数あるいは実数を成分とする行列に対する、行列分解の一手法
多次元尺度構成法
分類対象物の関係を、低次元空間における点の布置で表現する手法
例えば、xy軸を取って、複数のデータを点で表し、関係性を見る
t-SNE
高次元データを2次元や3次元に落とし込むための次元削減アルゴリズム
ジェフリー・ヒントンが考えた。
コールドスタート問題
新規ユーザー・新規アイテムが増えた際に、
評価データが集まるまでレコメンデーションが出来ない問題
コンテンツベースフィルタリング
アイテムの特徴をもとにユーザが過去に高評価したアイテムと
似た特徴を持つアイテムをレコメンドする手法
潜在的ディリクレ配分法（LDA)
データの一部が類似しているデータを複数のグループに分類する。
次元削減・次元圧縮
データの次元数を減らすこと。多次元からなる情報を
その意味をまた持ったまま低次元に落とし込むこと
強化学習
バンディットアルゴリズム
実データに基いてWebサイトなどの改善を行う手法の総称。
活用と、探索の2つから構成される。
マルコフ決定過程モデル
状態遷移が確率的に生じる動的システムの確率モデルであり、
状態遷移がマルコフ性を満たすもの。
S：状態の集合,A：行動の集合,P：遷移確率,R：報酬で構成される。
価値関数
横軸に人間が感じる損失や利得の程度
縦軸に価値の大きさをそれぞれ設定して、グラフ化したもの
グラフの中心には、参照点が置かれる。
方策勾配法
方策をあるパラメータで表される関数とし、
そのパラメタを学習することで、直接方策を学習していくアプローチ
割引率
価値関数で用いる、各ステップの報酬を割り引くためのファクター
ε-greedy方策
Q値の大きい行動を優先する手法。
Q値は、ある場面において次にとるべき行動を選択するための指標
UCB方策
探索と活用のバランスをとりながらアームの選択を行い、
報酬の最大化を目指す手法。
UCBは、Upper Confidence Boundの略。
マルコフ性
確率論における確率過程が持つ特性の一種。
その過程の将来状態の条件付き確率分布が、現在状態のみに依存し、
過去のいかなる状態にも依存しない特性を持つこと。
「過去の状態が与えられたとき、現在の状態は条件付き独立」である。
状態価値関数
直近の報酬に1ステップ先の価値関数を足したもの
前提として、方策および遷移確率で未来のとりうる値は枝分かれするので、
その期待値をとる
行動価値関数
状態sでの行動aを評価する関数。
とある状態sが与えられたとき、どの行動が最適なものかを導く手法
Q値
ある場面において次にとるべき行動を選択するための指標
Q学習
エージェントが行動するたびにQ値を更新する学習法
REINFORCE
自分で生成したサンプルを擬似的な教師データとして、
評価が高いサンプルに高い重みをつけて学習する操作
正式名称は、以下
REward Increment = Nonnegative Factor times
Offset Reinforcement times Characteristic Eligibility
Actor-Critic
行動を選択肢するアクターと、アクターが選択した行動を評価する
クリティックで構成される強化学習のフレームワークの1つ
A3C（Asynchronous Advantage Actor-Critic）
エイスリーシーと呼ぶ。特徴は、
AsynchronousかつAdvantageを使って学習させる。
GPUではなく、CPUで計算可能。DQNより性能がいい。
モデルの評価
正解率（Accuracy）
全予測正答率
TP + TN / TP + FP + FN + TN
適合率（Precision）
正予測の正答率
TP / TP + FP
再現率（Recall）
生に対する正答率
TP / TP + FN
特異率（Specificity）
負に対する正答率
TN / FP + TN
F値（F-measure）
適合率と再現率の調和平均
2 × Precision × Recall / Precision + Recall
ROC曲線
真陽性率や真陰性率を組み合わせて作成した曲線
AUC（Area Under Curve）
ROC 曲線下の面積（積分）
交差検証
クロスバリデーション。手元にある全データを
訓練データとテストデータに分割して評価すること
ホールドアウト検証
訓練データとテストデータの2つの組に分けて検証すること
k- 分割交差検証
訓練データをいくつかの組に分類し、
複数回に分けて学習。評価を行う手法
ホールドアウト検証に比べ、少ないデータでも精度が出る
混同行列
予測値と実測値のマトリクスのこと
評価を明確にしたいときに用いる
過学習
訓練データに過剰適応してしまい、
テストデータでパフォーマンスが出せなくなる状態
未学習
訓練データにさえ機械学習モデルが適合していない状態のこと
正則化
学習の際に用いる式に項を追加して、
重みの値の範囲を制限し、訓練データに対してのみ重みが
調整される(オーバーフィッティング)ことを防ぐ
L０正則化
0ではないパラメータの数で正則化する。
組み合わせは最適化問題になるので、計算コストが高い
L1 正則化
一部のパラメータを0にすることで、特徴選択を行う
L2 正則化
パラメータの値を0に近づけ、半化されたモデルを作る
LIME
一つの予測結果があったとき、
その結果に対してのみ局所的に近似させた単純な分類器を作って、
その単純な分類器から予測に効いた特徴量を選ぶ
SHAP
予測した値に対して、
「それぞれの特徴変数がその予想にどのような影響を与えたか」を算出するもの
オッカムの剃刀
14世紀の哲学者のオッカムが、
「ある事柄を説明するためには、必要以上に多くを仮定するべきでない」
と示した指針。
要は、「最もシンプルな仮説を選択せよ」ということ。
赤池情報量基準（AIC)
統計モデルの良さを評価するための指標
汎化性能
データに含まれる誤差の部分を無視する力
平均二乗誤差（MSE）
実際の値と、線形回帰モデルによる予測値のズレ（誤差）が
どれだけあるかを示すもの。
訓練誤差
訓練データで学習した時の、訓練データの予測精度のこと
汎化誤差
訓練データで学習した後の、テストデータの予測精度のこと
学習係数
一回の処理で進む学習の度合い。
また、パラメータを更新するか制御する制の定数。
誤差関数
数学におけるシグモイド形状の特殊関数の一種
ニューラルネットワークとディープラーニング
パーセプトロン
人間の脳神経回路を模倣した学習モデル
ディープラーニング
隠れ層を増やした、層の深いニューラルネットワーク
勾配消失問題
隠れ層を遡って誤差をフィードバックするとき、
誤差が消失してしまい学習が進まなくなる問題のこと
ディープラーニングのアプローチ
オートエンコーダ（自己符号化器）
可視層と隠れ層の２層からなるネットワーク
可視層は、入力層と出力層のセット
可視層で次元を圧縮することで、勾配の消失を防いで学習率を向上させる。
2006年にジェフリー・ヒントンが提唱。
積層オートエンコーダ
オートエンコーダのエンコーダおよびデコーダ部分を多層化した構造
ファインチューニング
学習済みモデルの層の重みを微調整する手法
具体的には、積層オートエンコーダの最後でロジスティック回帰層を設けて、
ロジスティック回帰層に重みの調整を行うこと
深層信念ネットワーク
ジェフリー・ヒントンが唱えたモデル
教師なし学習＋制限ボルツマシンの合わせ技
制限付きボルツマンマシン
図のような無向グラフで表現される確率モデル
その名のとおりグラフの構造に制限があるモデルで、
可視層と隠れ層の２層から成り、層内の相互作用はない
ディープラーニングを実現するには
CPUとGPU
CPUは、いわゆるコンピュータの頭脳。
OSに必要なコマンドとプロセスを実行するように指示を出す。
GPUは、より小型で特殊なコアを搭載したプロセッサー。
画像処理に関する演算を行い、
特徴として大規模な平衡演算処理を得意とする。
GPGPU
画像以外の目的に最適化されたGPU
NVDIA社が開発をリード
バーニーおじさんのルール
「モデルのパラメータ数の10倍のデータが必要」
とバーニーさんが唱えた経験則
例えば、CNNのAlexNetのパラメータ数は60,000,000個あるので、
データは600,000,000個必要になる。
TPU
機械学習に特化したGoogleの自社開発プロセッサ
Tensor Processing Unit
活性化関数
tanh関数
ハイパボリックタンジェント関数。
あらゆる入力値を、-1.0~+1.0の範囲の数値に変換して出力する関数
ReLU関数
レルー関数
関数への入力値が0以下の場合は常に0。
入力値が0より大きい場合は、出力値=入力値とする。
誤差逆伝播の際に勾配が小さくなりにくい。
Leaky ReLU関数
入力値が0より下なら「入力値とα倍した値」に変換する。
（α倍は基本的に0.01倍）
入力値が0より大きい場合は、出力値=入力値とするところはReLUと同様
Parametric ReLU(PReLU)
ReLUのx>0の部分の傾きを、パラメータαで
最適化するモデル
Randomized ReLU(RReLU)
複数の傾きをランダムに試すモデル
学習の最適化
学習率
勾配に沿って、一度にどれだけ関数を降りるかを決める
交差エントロピー
クロスエントロピー。
確率分布pと確率分布qの近似性を表現する関数
イテレーション
重みを更新する回数
エポック
訓練データを学習に用いた回数
局所最適解
ある一部分を見た時の最適解
大域最適解
本当の最適解
鞍点
ある次元から見れば極小であるものの、
別の次元から見れば極大である点
プラトー
鞍点などの停留点に到達して学習が停滞している様
モーメンタム
最適解に向かって学習を加速させることで、停滞を防ぐ手法
AdaGrad
Adaptive Gradient Algorithm
勾配に基づいて最適化するアルゴリズム
過去の観測データに関する情報を取り入れることで、
学習率がベクトルの要素ごとのパラメータに適用する
AdaDelta
Adagradの拡張版の最適化アルゴリズム
去のすべての勾配を累積するのではなく、
勾配更新の固定移動ウィンドウに基づいて、
単調に減少する学習率を下げていく
RMSprop
Adagradの改善を狙った手法で、
過去の情報を「忘れる」コンセプトを持っている
ADAM
RMSprop の改良版
勾配に関して、以前の情報を指数的減衰させながら伝えることができる。
AdaBound
Adamに学習率の上限と下限を動的に加えたもの
AMSBound
AMSGradに学習率の上限と下限を動的に加えたもの
ハイパーパラメータ
誤りをどの程度許容するか、エンジニアが事前に手動で設定する値
ランダムサーチ
ハイパーパラメータを自動調整するアルゴリズム
限数を設定した上でパラメーターをランダムに選び検証する手法
グリッドサーチ
ハイパーパラメータを自動調整するアルゴリズム
指定したハイパーパラメータの全ての組み合わせに対して学習を行い、
もっとも良い精度を示したパラメータを採用する手法
確率的勾配降下法
連続最適化問題に対する勾配法の乱択アルゴリズム
最急降下法
関数の傾きのみから、関数の最小値を探索する
連続最適化問題の勾配法のアルゴリズムの一つ
バッチ学習
学習対象となるデータを全てまとめて一括で処理する方法
ミニバッチ学習
学習対象となるデータを分割して処理する方法
オンライン学習
学習データが入ってくるたびにその都度、
新たに入ってきたデータのみを使って学習を行う。
ただ、学習を行う際に1からモデルを作り直すのではなく、
そのデータによる学習で今あるモデルのパラメータを随時更新するというもの
データリーケージ
機械学習で入っていはいけないデータが混入すること
更なるテクニック
ドロップアウト
特定のレイヤーの出力を学習時にランダムで0に落とす。
一定割合のノードを不活性化することで過学習を抑制し、
学習の精度を上げることができる。
早期終了（early stopping）
学習を途中で打ち切り、過学習を抑制する手法。
誤差関数の値の上り始めで打ち切る
バッチ正規化
学習時のミニバッチ毎に各チャンネルを、平均０分散１になるように正規化すること
ノーフリーランチの定理
「あらゆる問題で性能の良い汎用最適化戦略はない」
という言葉。要するに、
何にでも使える万能なアルゴリズムはないよ。
二重降下現象
パフォーマンスが向上→悪化→
「モデルサイズ」「データサイズ」「訓練時間」の増加に伴い再び向上。
CNNやResNetで起こる
正規化
最小値を0，最大値を1とする0-1スケーリング手法
標準化
平均を0，分散を1とするスケーリング手法
白色化
各特徴量を無相関化し、かつ、平均0・標準偏差1にすること
フレームワーク
scikit-learn（サイキットラーン）
機械学習全般に対応するフレームワーク
Numpy（ナムパイ）
主に線形代数の計算を行うフレームワーク
SciPy（サイパイ）
高度な科学計算を行うフレームワーク
Pandas(パンダス)
データ解析用のフレームワーク
Tensorflow（テンソルフロー）
Googleによって開発された機械学習に関する
フレームワーク
Keras（ケラス）
ディープラーニングに特化した、
Tensorflowのラッパー
Chainer(チェイナー）
PreferredNetworksが開発した
Define-by-Runと言う形式を採用したフレームワーク
Pytorch(パイトーチ)
Chainerから派生したフレームワーク
畳み込みニューラルネットワーク（CNN）
CNN(Convolutional Neural Network)
畳み込みニューラルネットワーク
人間が持つ視野覚の神経細胞を模倣する多層モデル
畳み込み層
カーネルと呼ばれるフィルタで画像から特徴を抽出する層。
画像×カーネルの総和を求めて、新しい2次元データ(特徴マップ)を作る
プーリング層
決められた演算を行う。
サブサンプリングorダウンサンプリングとも呼ぶ。
全結合層
出力用にデータを一次元にする層。
データ拡張(data augmentation)
データが足りない時に、既存のデータを水増しする。
例えば、「反転させる」「拡大する」等で、
疑似的に異なるデータを生成する。
ネオコグニトロン
1980年代に福島邦彦によって提唱された階層的・
多層化された人工ニューラルネットワーク。
S細胞とC細胞の多層構造になっているモデル。
LeNet
1989年にヤン・ルカンによって提案されたCNNのモデル
畳み込み層とプーリング層の多層構造になっているモデル
最大値プーリング
特徴マップの最大値をピックアップして新しい画像を得る
平均値プーリング
特徴マップの平均値をピックアップして新しい画像を得る
グローバルアベレージプーリング
近年のCNNでは、全結合層を用いず、
Global Average Poolingという処理で
一つの特徴マップを一つのクラスに紐づけることが主流になっている。
Cutout
画像中のランダムな位置を中心として、
正方形領域を固定値0でマスクする処理
Random Erasing
大きさがランダムの矩形領域で画像をマスクする処理
Mixup
データ拡張の手法
ベーダ(beta)分布からサンプリングした混合比率をもとに、
入力・出力ともに混合させてデータ拡張を行う手法
CutMix
CutoutとMixupを混合させた手法
MobileNet
MobileNetは小型・低レイテンシー・低消費電力のモデル
ハイパーパラメータとしてwidth multiplier
とresolution multiplier を用いている
Depthwise Separable Convolution
通常のConvolutionをDepthwise Conv.と
Pointwise Conv.の2つに分けることで、パラメータ数を削減したもの
Neural Architecture Search(NAS)
ニューラルネットワークのアーキテクチャ自体を最適化する手法
EfficientNet
Google Brainが発表した従来よりも少ないパラメータ数で
高い精度が出せるモデル。
Compound Coefficient(複合係数)を導入することで制度をあげている
AutoML
人工知能に機械学習のコードやアルドリズムを生成させる開発手法
NASNet
AutoMLを用いて設計したアーキテクチャ
CNNに限定してアーキテクチャを探索し、最適化。
畳み込みやプーリングをCNNセルと定義し、CNNセルの最適化を行う。
MnasNet
NASNetのモバイル版。googleによって発表された。
AUTOMLを参考にしたモバイル用のCNNモデル設計。
速度情報を探索アルゴリズムの報酬に組み込むことで、
速度の制約に対処
転移学習
ある領域で学習したこと(学習済みモデル)を別の領域に役立たせ、
効率的に学習させる方法
ストライド
フィルタが画像を移動する間隔。
例えばストライドに2を設定すると、
フィルタが2ずつ画像を左に移動する。
パディング
入力画像のピクセルの周りにピクセルを囲むテクニック
０で囲むことをゼロパディングという。
深層生成モデル
深層生成モデル
ディープラーニングを取り入れた生成モデル。
変分オートエンコーダ（VAE)
通常のオートエンコーダと同様、エンコーダ部分とデコーダ部分を持つモデル
分布関数の変分パラメータϕを導入し、変分下限を求めることができる。
入力を統計分布に変換し、平均と分布を表現できるように学習する。
敵対的生成ネットワーク（GAN)
ジェネレータとディスクリミネータで構成される
教師なし学習のネットワーク。イアン・グッドフェローが考案した。
「この10年で最も面白いアイディア」とヤンルカンが褒めた。
ジェネレータ (生成器)
ディスクリミネータが間違えるような偽物の画像を作成するように学習
ディスクリミネータ (識別器)
ジェネレータが作成した画像を見抜けるように学習
DCGAN
GANにCNNを適用し、ネットワークを深くした手法
Pix2Pix
「条件画像と画像のペア」を学習データとして、その対応関係を学習するモデル
条件ベクトルの代わりに条件画像を使用し、
画像から画像への変換問題を扱うCGAN(Conditional GAN)。
CycleGAN
画像のスタイルを相互変換する事が可能
例えば多数の馬とシマウマの画像の特徴を把握し相互に変換することが可能。
準備するデータは生成したい相互画像（馬とシマウマ）
画像認識分野
物体識別タスク
画像やビデオ内の物体を識別するための手法
物体検出タスク
画像内に含まれる関心対象の物体を、
自動的に背景から区別して位置特定する手法
セグメンテーションタスク
ピクセル単位で画像を特定
姿勢推定タスク
画像からそこに写る人物の「関節」を検知する
マルチタスク学習
単一のモデルで複数の課題を解く機械学習の手法
タスクから生じる事例を貯めることで、汎化性能を改善する
AlexNet
2012年のILSVRCで、ディープラーニングに基づくモデルとして
初めて優勝したモデル。ジェフリーヒントンが率いる
SuperVisionチームが考案した。
Inceptionモジュール
過学習を生じないように分類の性能を向上させるための
モジュール。
GoogLeNet
Inceptionモジュールを積み重ねたネットワーク
VGG
2014年のILSVRCで高評価を得たネットワーク
畳み込み層と全結合層を連結しシンプルに層を増やしたネットワークで、
フィルタのサイズを小さく，そして層を深くする方向を考えた構造。
Skipconnection
層を飛び越えて結合させるモデル
層が深くなっても、飛び越える部分は伝播しやすく、
様々な形のネットワークのアンサンブル学習とすることができる。
ResNet
skipconnectionを取り入れたネットワーク
Wide ResNet
層を深くする代わりに、各residual unitの次元数を増加させた
wideなネットワークを利用するResNet
DenseNet
「DenseBlock」を用いて畳み込みを行うモデル
SENet
「SE」をResNetやInceptionと組み合わせて作り出せるネットワークの総称
R-CNN
物体学習のための機械学習モデルの一つ
非CNNで関心領域の切り出しを行い、関心領域の切り出し後に
領域ごとにCNNを呼び出す2段階のモデル
FPN（Feature Pyramid Network）
Faster R-CNNにおいて、
複数のスケールでRegion ProposalおよびHead Network
の実行を行うことで、高精度に小さな物体を検出する
YOLO(You Only Look Onse)
リアルタイムオブジェクト検出アルゴリズム
「検出」と「識別」を同時に行うことで，
処理時間の遅延を解消するモデル。
インスタンスセグメンテーションを採用。
SSD(Single Shot Detector)
１度のCNN演算で物体の「領域候補検出」と「クラス分類」
の両方を行うモデル。
これにより物体検出処理の高速化を可能にする。
Fast R-CNN
「画像の切り出し」と「切り出した領域」の物体認識を
同時に行うことができるモデル。
Edge Boxes などのアルゴリズムを使用して領域提案を生成する。
Faster R-CNN
基本Fast R-CNNと同じだが、処理が早く、ほぼ実時間で
入力画像から認識まで到達できる
優れもの。
Edge Boxes などの外部アルゴリズムを使用する代わりに、
領域提案ネットワーク (RPN) を追加してネットワーク内で
領域提案を直接生成するモデル。
セマンティックセグメンテーション
各ピクセルをその意味（周辺のピクセルの情報）に基づいて、
カテゴリ分類する手法。
インスタンスセグメンテーション
画像上やRGB-D画像に写っている物体インスタンスの前景領域マスクを、
各物体インスタンスを区別しながら推定する問題
パノプティックセグメンテーション
セマンティック＋インスタンスセグメンテーションの
アプローチの統合を試みるもの。
両方のIDをエンコードして、画像内のすべてのピクセルに
一位の値を割り当てる。
FCN(Fully Convolutional Network)
物体がどこにあるかを推定するネットワーク
全結合層を持たず、ネットワークが畳み込み層のみで構成されている。
一般物体認識用のCNNをSemantic Segmentation用に改良したモデル
SegNet
ケンブリッジ大学が考案した、ディープラーニングを用いる
オープンソースの画像分割手法。
画像のセマンティックセグメンテーション用に開発されたモデル。
交通シーンにおいて画素単位で画像を分割することが可能。
U-Net
物体がどこにあるかを推定するネットワーク
FCN、deconvolution、skip-conectionが使われており、
U字の構造になっていることからU-Netと呼ばれる。
PSPNet(Pyramid Scene Parsing Network)
CVPR2017で発表された手法
エンコードにResNet101の特徴抽出層を利用しており、
エンコーダとデコーダの間に、Pyramid Pooling Moduleを追加している。
Dilated convolution
フィルターとの積を取る相手の間隔をあける畳み込みのこと
Open Pose
カーネギーメロン大学のZhe Caoらが論文で発表した
深層学習を用いて人物のポーズを可視化してくれる手法
Part Affinity Fields
各key point間の繋がりうる可能性を表す、
ベクトルマップを予測するネットワーク
Mask R-CNN
一般物体検出とSegmentationを同時に行うマルチタスクな手法
音声処理と自然言語処理分野
RNN（リカレントニューラルネットワーク）
時間情報を反映できるようになったニューラルネットワーク
通常のニューラルネットワークに、過去の隠れ層が追加になった
イメージ
Transformer
RNNと違い、時系列データを逐次処理する必要がない特徴がある。
これにより、多くの並列化が可能になり、訓練時間が短縮される
LSTM(Long Short Term Memory)
LSTMブロックを導入し、時系列情報をネットワーク内に
保持できるようにしたモデル。誤差を内部にとどまらせる
セルと、必要な情報を忘れるためのゲート
(入力・出力・忘却ゲート)が導入されている。
他のRNNの「短期的な情報しか保持できない点」を
改良した手法。
CEC(Constant Error Carousel)
エラーを選択的に取り込み、保持することができる記憶素子
GRU(Gated reccurent unit)
ゲート付き回帰型ユニット
LSTMを少し簡略化した手法。
リセットゲートと更新ゲートから成り立っている。
Bidirectional RNN（双方向RNN)
双方向性回帰型ニューラルネットワーク
過去の情報を会う買うだけではなく、
未来の情報を過去に反映されることができるモデル
RNNEncoder-Decoder
入力も出力もいずれも時系列で予測したいときに、
それぞれにLSTMを対応させるモデル
（従来は、入力は時系列であるものの、出力は１点）
BPTT(Backpropagation through time)
特定のタイプのリカレントニューラルネットワークを
トレーニングするための勾配ベースの手法
Attention
時間の重みをネットワークに組み込んだ機構
A-D変換
アナログ-デジタルの偏向回路
パルス符号変調器
電話などのアナログ信号をパルス符号に変換して
デジタル伝送し、受信側ではまた元のアナログ信号に
戻して通信を行う変調方式
高速フーリエ変換
時間領域→周波数領域に変換することで、
その波形がどんな波によって、どのぐらいの割合で構成されているか
を教えてくれる処理。中でも、離散フーリエ変換を、
計算機上で高速に計算するアルゴリズムのこと。
スペクトル包絡
音声スペクトルの大まかな形を表す包絡線
メル周波数ケプストラム係数
人間の音高知覚が考慮された尺度
1,000Hzの純音の高さの感覚を1,000メルと決めたうえで、
1,000メルの半分の高さに感じた音を500メル。
2倍の高さに感じた音を2,000メルと定めたもの
フォルマント
言葉を発してできる複数の周波数のピークのこと
周波数の低いピークから第1フォルマント(F1)、
第2フォルマント(F2)~と表現する。
フォルマント周波数
人間の声帯から口・鼻に至るまでの部分の共鳴の
周波数のこと。
音声認識エンジン
人から発せられた音声情報を認識し、
チャットボットエンジンが認識した情報に対し、
予めルール化されたされた返答or機械学習によって割り出された返答を推論し、
最後に、音声合成エンジンが返答を音声化する仕組み
隠れマルコフモデル(HMM)
確率モデルの一つ。観測されない(隠れた)状態を持つマルコフ過程のこと。
通常のマルコフモデルでは、出力シンボル系列が与えたれると状態遷移系列を
特定できるのに対して、隠れマルコフモデルは状態遷移系列を特定できない。
WaveNet
音声合成と、音声認識の両方を行うことができるモデル。
DeepMind社の研究者によって作成された、生のオーディオ
を生成するためのニューラルネットワーク
メル尺度
音高の知覚的尺度。
メル尺度の差が同じであれば、人間が感じる音高の差が同じになる。
N-gram
テキストまたは音声の特定のサンプルからの、
nアイテムの連続したシーケンス
Bag-of-Words(BoW)
自然言語で記述されたデータをベクトルで表現する手法。
形態素解析→数値割り当て→足し合わせる
ワンホットベクトル
1つの成分が1で、残りの成分が全て0であるようなベクトル
（0, 0, 1, 0, 0, 0）こんな感じ。
TF-IDF
文書中に含まれる単語の重要度を評価する手法の1つ
主に情報検索やトピック分析などの分野で用いられる。
単語埋め込み
単語の意味をベクトル空間内に表現したモデル
word2vec
文章中の単語を記号の集まりとしてとらえ、
記号をベクトルとして表現したもの。
このようなモデルを「ベクトル空間モデル」や
「単語埋め込みモデル」とも呼ぶ。
スキップグラム
「ある単語が与えられたときに、その周辺に現れる
単語を予測する」問題と捉え、精度よく答えられる
ように、各単語の分散表現ベクトルを学習する。
CBOW
スキップグラムとは逆に、周辺の単語からある特定の単語
を予測するモデル
fastText
2013年にトマス・ミコロフが開発したモデル。
word2vecからは、単語の表現に文字の情報を含めることを改良している。
ELMo
単語のシーケンスを、対応するベクトルのシーケンスとして
表すための単語埋め込み手法。
2層の双方向リカレントネットワーク言語モデルの
内部状態から計算される。
CTC(Connectionist Temporal Classification)
LSTMネットワーク等のRNNをトレーニングして、
タイミングが可変であるシーケンス問題に取り組むための
ニューラルネットワーク出力と関連するスコアリング関数
Seq2Seq
入力も出力も時系列で予測が必要な問題のこと
Source-Target Attention
入力(Query)と索引(Memory)が別物の場合のAttention
Encoder-Decoder Attention
ソース系列をEncoderと呼ばれるLSTMを用いて
固定長のベクトルに変換(Encode)し、
Decoderと呼ばれる別のLSTMを用いて、
ターゲット系列に近くなるように系列を生成するモデル
Self-Attention
自己注意機構。データの流れ方自体を学習して決定するモデル。
自分自身の途中の計算結果に注意し、そこから読み込む手法。
位置エンコーディング(Positional Encoding)
Transformerのエンコーダ・デコーダ両者において、
各埋め込み表現に対し、その位置に適応した値を足し合わせることで
位置情報を与える役割を持つ。
GPT
2018年に提案されたモデルで、基本的にはTransformerをベースに、
事前学習-ファインチューニングをすることで非常に高い精度を達成したモデル
パラメータ数が1.17億個。
GPT-2
GPTの改良モデル。パラメータ数が15億個になった。
Wikipediaなどの大規模な言語コーパスで言語を学習する。
GPT-3
GPT-2の改良モデル。パラメータ数が1,750億個になった。
BERT
2018年にGoogleが開発した、自然言語処理の事前学習用の
Transformerベースの機械学習。
2019年にGoogle検索に導入されている。
ラベルなしのデータを大量に事前学習させて、処理させた
データに少量のラベルありデータを使用することで課題に対応させる。
GLUE(General Language Understanding Evaluation)
汎用的な言語処理理解評価のためのデータセット
Vision Transformer
コンテンツとコンテキストの表現が、
特別な「クラス」トークンを中心としたボトルネック表現を学習するモデル
形態要素解析
テキストデータを、意味を持つ最小単位の形態素に分割し、
品詞を判定する技術
深層強化学習分野
DQN(Deep Q-Network)
Q学習とディープラーニングを組み合わせた強化学習の手法
DoubleDQN
DQNのTargetデータを改良した手法。行動価値関数Qに対して、
「価値」と「行動」を選択するニューラルネットワークと、
その行動を評価するニューラルネットワークの2つに役割を分けたモデル
デュエリングネットワーク
ニューラルネットワークを2つに分割。
1つはタイムステップごとに値の推定値を提供することを学習。
もう1つは各行動の潜在的な利点を計算し、
最後に2つを組み合わせて単一の行動アドバンテージQ関数にする。
ノイジーネットワーク
ネットワークそのものに学習可能なパラメータと共に外乱を与え、
それも含めて学習させていくことでより長期的で広範囲に探索を進めるモデル
Rainbow
DQN以降に登場した改良を乗せたアルゴリズム
7種類乗っているので、レインボー
モンテカルロ木探索
モンテカルロ法を使った木の探索の事
アルファ碁
2015年にDeepMind社が開発した碁のプログラム
世界チャンピオン級の棋士を撃破。
アルファ碁ゼロ
アルファ碁の進化版。
人間の棋譜を使用する学習は一切行わず、自己学習のみで強くなる。
アルファゼロ(AlphaZero)
アルファ碁ゼロを以後以外のゲームにも対応できるように汎化したモデル。
5000台のTPUを使用している。
マルチエージェント強化学習
正しい行動が与えられていない状況で、エージェントが
様々な試行を繰り返し、うまくいった/いかなかったという結果を
経験しながら、うまくいくための行動（最適な行動）を学習するモデル
OpenAI Five
OpenAIが開発した、ゲーム「Dota2」で動作する
機械学習プロジェクト。
アルファスター
OpenAIが開発した、ゲーム「AlphaStar」で動作する
機械学習プロジェクト。
オフライン強化学習
以前に収集されたデータセットのみで学習するモデル
安全面でのリスクや、経済的なコストを伴う医療、自動運転、
ロボティクス、推薦しててむなどの実応用の場面で
期待を集めている。
sim2real(simulated-to-real)
シミュレーションで訓練されたモデルが、実世界では
うまく機能せず、パフォーマンスギャップが生まれること
ドメインランダマイゼーション
学習時には毎回微妙に異なる条件を設定する強化学習。
残差強化学習
与えられたタスクに対して不完全な制御方策が得られている場合を想定し，
与えられた初期方策を改善していくことで，
少ない試行回数で適切な方策を獲得することを実現する手法
モデルの解釈性とその対応
Grad-CAM(Gradient-weighted Class Activation Mapping)
予測値に対する勾配を重み付けすることで、重要なピクセルを可視化する技術
CNNが分類のために注視している範囲をカラーマップで表示。
CAM(Class Activation Mapping)
画像分類等において、クラスが画像のどの領域に注目しているのかを可視化する手法
モデルの軽量化
エッジAI
エッジコンピューティング(※)から派生した用語で、
AIの学習モデルを用いてエッジで推論すること
※利用者端末と物理的に近い場所に処理装置を分散配置して、
ネットワークの端点でデータ処理を行う技術の総称
蒸留(distillation)
軽量化の手法の一つ
大きいモデルやアンサンブルモデルを教師モデルとして、
その知識を小さいモデル（生徒モデル）の学習に利用する方法
モデル圧縮
学習や予測に要する時間を減らすことで、
効率的な検証ができるようにすること。
具体的には、メモリの使用量を削減したし、
パラメータを少なくすることで計算量を減らす。
量子化
近似的にデータを扱うことをいい、
情報量を少なくして計算を効率化する方法
プルーニング
精度の低下をできるだけ低く抑えながら、
過剰な重みを排除するプロセス
AIと社会
IoT
Internet of Thingsの略。
様々なモノが、インターネットに接続されて相互に
制御する仕組みのこと。
RPA
Robotic Process Automationの略。
人間が繰り返し行う定常作業を自動化する技術
ブロックチェーン
分散型ネットワークを構成する複数のコンピューターに、
暗号技術を組み合わせ、取引情報などのデータを同期して記録する手法
AIプロジェクトの進め方
CRISP-DM
データマイニングの業界横断的な標準プロセス
「ビジネスの理解」「データの理解」「データの準備」
「モデリング」「評価」「展開・共有」の６つのプロセスがある
MLOps
実験的な機械学習モデルを本番システムに組み込むプロセスのこと
BPR
ビジネスプロセス・リエンジニアリング
業務・組織・戦略を根本的に再構築すること
データサイエンティスト
データにもとづいて合理的な判断を行えるように
意思決定者をサポートする職務またはそれを行う人
プライバシー・バイ・デザイン
個人情報を取り扱うシステムを構築する際、
その構想段階から個人情報保護のための方策を
技術面・運用面・物理的設計面から作り込むこと
データの収集
データの収集AI
クローラーは、ウェブ上の文書や画像などを周期的に取得し、
自動的にデータベース化するプログラム
不正競争防止法
平成30年の改正で、一定の価値あるデータの不正な取得行為や
不正な使用行為等、悪質性の高い行為に対する民事措置
（差止請求権、損害賠償額の推定等）が規定された
特許法
AIが発明をした場合の取り扱いについては現状、規定がない。
サンプリング・バイアス
選択バイアスとも呼ばれる。
データにモデルの実際の活用環境が正確に反映されていない場合に生じる。
例えば、日本人男性で学習したモデルに対し、
白人女性の画像を与えると、精度が著しく低下する。
オープン・イノベーション
企業間のコンソーシアムや、産学連携、企業の共同開発を
通じて、社会的なインパクトを生むことを指す。
AI・データの利用に関する契約ガイドライン
①データの利用等に関する契約、及び②AI技術を利用する
ソフトウェアの開発・利用に関する契約の主な課題や論点、
契約条項例、条項作成時の考慮要素等を整理したガイドライン
データの加工・分析・学習
アノテーション
日本語で言う「注釈」
機械学習では、データに注釈を付けて教師データを作り出す作業
匿名加工情報
特定の個人を識別することができないように個人情報を加工し、
当該個人情報を復元できないようにした情報のこと
カメラ画像利活用ガイドブック
カメラ画像について、その特徴を踏まえつつ利活用の促進を図るため、
事業者が、生活者のプライバシーを保護し、
適切なコミュニケーションをとるに当たっての配慮事項を整理したもの
ELSI(ethical, legal and social implications)
通称エルシー。
倫理的・法的・社会的課題の頭文字をとったもの。
特にゲノミクスとナノテクノロジーなど、新興科学の倫理的、
法的、社会的影響または側面を予測して対処する研究活動を指す。
ライブラリ
機械学習を実装する際に用いるツール
Docker
コンテナ仮想化を用いてアプリケーションを
開発・配置・実行するためのオープンソースソフトウェア
Jupyter Notebook
PythonなどをWebブラウザ上で記述・実行できる統合開発環境
XAI(eXplainable AI)
説明可能なAI。予測結果や推定結果に至る
ブラックボックスのプロセスを、人間によって
説明可能にしている機械学習のモデル。
フィルターバブル
インターネットの検索サイトが提供するアルゴリズムが、
各ユーザーが見たくないような情報を遮断する機能」のせいで、
「泡」の中に包まれたように、自分が見たい情報しか見えなくなること
FAT(Fairness, Accountability, Transparency)
公平性、説明責任及び透明性。
「人間中心のAI社会原則」の基本原則に記載されている。
・AIを利用しているという事実の説明
・AIに利用されるデータの取得方法や使用方法
・AIの動作結果の適切性を担保する仕組み
PoC(Proof of Concept)
概念実証は、新たな概念やアイデアの実現可能性を示すために、
簡単かつ不完全な実現化を行うこと。
実装・運用・評価
著作物/著作権法
・元データ
絵画や音楽など、元データに創作的な表現が含まれる場合、
当該データは、著作権によって保護される
・ビッグデータ
ビッグデータは、その情報の選択や体系的な構成に創作性が認められる場合、
その総体がデータベースの著作物として保護され得る
・学習済みモデル
AIのプログラムとパラメータの組み合わせを一体として、
著作権法上の「プログラムの著作物」や特許法上の「物の発明」
として保護し得る余地はある
営業秘密
「不正競争防止法」によって、①秘密管理性、②有用性、③非公知性
を持つものは営業秘密として保護の対象と定められている。
限定提供データ
不正競争防止法で、以下のように定義されている。
『業として特定の者に提供する情報として電磁的方法（電子的方法，
磁気的方法その他人の知覚によっては認識することができない方法』
オープンデータに関する運用除外
不正競争防止法で、以下のように定義されている。
『その相当量蓄積されている情報が無償で公衆に利用可能となっている情報と同一
の限定提供データを取得し、又はその取得した限定提供データを使用し、若しくは
開示する行為』
GDPR(General Data Protection Regulation)
2018年に施行された個人データ保護やその取り扱いについて、
詳細に定められたEU域内の各国に適用される法令
十分性制定
「個人情報保護体制がEU並みの水準にある」と、
EUからのお墨付きを受けた国・地域
敵対的な攻撃（Adversarial attacks)
このAIが「間違える」入力データを、人間にはほとんど分からない
小さな変化を与えることにより意図的に作り、AIを騙す手法
ディープフェイク
「深層学習」と「偽物」を組み合わせた混成語で、
人工知能にもとづく人物画像合成の技術を指す。
アルゴリズムバイアス
コンピュータ・システムの出力から生じる公平性の欠如のこと。
クライシス・マネジメント
クライシス・マネジメント
危機は必ず発生するものという前提にもとづき、
機能不全に陥ることを覚悟の上で、初期対応や二次被害の回避を行うこと。
いわゆる「火消し」と「復旧」
エスカレーションルールを策定することも重要。
有事への対応
クライシスの段階や希望に応じて、機動的に対応する
ことが求められる。
社会と対話・対応のアピール
企業の透明性を担保し、説明責任を果たすことが重要
「透明性のレポート」を公表し、個人情報等の取り扱いについて
透明性を担保することで、ユーザの信頼を獲得する企業もある。
シリアス・ゲーム
エンターテインメント性のみを目的とせず、
教育・医療用途といった社会問題の解決を主目的とする
コンピュータゲームのジャンル
Partnership on AI(PAI)
2016年にAmazon,Google,Facebook,IBM,Microsoftなどの
アメリカIT企業を中心に組織された、AIの安全性や公平性、
透明性などの取り組みを提示するもの
AWS(Autonomous Weapons Systems)
自立型兵器。人間の介入なしに対象を選定し、攻撃する。
LAWS(Lethal Autonomous Weapon Systems)
自立型致死兵器システム。
CCW(特定通常兵器使用禁止制限条約)
LAWSに関する研究開発を禁止すべきと定める条約。
アシロマAI原則
2017年に人工知能研究の会議で発表されたガイドライン
人工知能が人類全体の利益となるよう、倫理的問題、
安全管理対策、研究の透明性などについての23原則
学習に使った教材
以下の教材を購入して学習しました。
ネットの声を見ると、「黒本だけでも行けたぜ！」って強者もいたようですが、公式テキストでざっと流れを学んだうえで黒本に挑んだ方がいいです。基礎的な話を知っているかいないかで、知識の定着に差が出ます。
以下に受験してみたレポートも書いてあるので、参考にしてみてください。
受験するみなさまに幸あれ！
