情報に関する基礎理論

アナログは連続的に変化する量で情報を表し、デジタルは離散的な数値で情報を表します。音声や温度などの連続した信号をコンピュータで扱うにはデジタル化します。

デジタル化では、一定間隔で値を取り出す標本化、段階的な数値へ置き換える量子化、数値をビット列へ対応させる符号化を行います。標本化→量子化→符号化の役割の違いを理解します。

標本化は時点を選び、量子化は値を段階化する。

コンピュータ内部では、文字そのものではなく、文字に割り当てられた数値を使って処理します。この対応関係を定めたものが文字コードです。

Unicodeは、多くの言語の文字を共通の体系で扱うための文字コードです。見た目が同じ文字でも、文字コードの扱いが異なると正しく表示できない場合がある点を押さえます。

文字コードは文字と数値の対応を定める。

演繹推論は、一般的な規則と個別の事実から結論を導く方法です。例えば「社員は入館証が必要」「Aさんは社員」から「Aさんは入館証が必要」と導きます。

帰納推論は、複数の具体例を観察し、そこから共通する傾向や規則を考える方法です。一般ルールから個別結論が演繹、個別事例から一般化するのが帰納です。

演繹は一般→個別、帰納は個別→一般。

AIは、人間が行う認識、判断、推論などの知的な働きをコンピュータで実現する技術の総称です。その実現方法の一つに機械学習があります。

機械学習では、データから規則や特徴を学び、分類や予測などに利用します。AIと機械学習を同じ意味として扱わず、機械学習はAIを実現する方法の一つと整理します。

機械学習はAIを実現する方法の一つ。

教師あり学習は、入力データと正解の組を使って学習し、新しいデータの分類や数値の予測に利用します。画像とその名称をセットで与えて分類器を作る例などがあります。

教師なし学習は、正解ラベルを与えずにデータの特徴やまとまりを見つけます。強化学習は、行動の結果として得られる報酬を手掛かりに、より良い行動を学習します。

正解付きは教師あり、正解なしは教師なし、報酬は強化学習。

ニューラルネットワークは、人の神経回路の仕組みを参考にした計算モデルです。入力に重みを付けて計算し、その結果を次の層へ渡していきます。

多くの層をもつニューラルネットワークを利用して特徴を学習する手法がディープラーニングです。画像認識や音声認識、自然言語処理などで利用されます。

ディープラーニングは多層ニューラルネットワークを使う。

学習用データに合わせ過ぎた結果、新しいデータでは精度が下がる状態を過学習といいます。学習時の成績が高くても、未知のデータに対応できるとは限りません。

学習用とは別のデータで性能を確認することが重要です。AIモデルは未知のデータに対する性能も評価する必要があります。

過学習は学習データに合わせ過ぎて未知データに弱い状態。

大規模言語モデル（LLM）は、大量の文章などを使って学習し、文章の生成や要約、質問応答などを行うモデルです。あらかじめ広い範囲のデータで学習したモデルを用途に応じて調整して使うことがあります。

既存モデルを特定の用途に追加学習させる方法にファインチューニングがあります。プロンプトエンジニアリングは、入力する指示や条件を工夫して、望む出力を得やすくする考え方です。

LLMは大量の文章を学習し、文章生成などに使われる。