第１部　基礎編【１〜9章】

第２部　応用編【10〜１4章】

1. はじめに

本書の構成

準備

2. 確率と統計

確率分布モデル

統計量

• 代表的な統計量
• 多変量正規分布

統計的推論

• ベイズ統計
• 点推定

3. 確率システム

確率過程

• マルコフ過程
• 分布の時間発展
• リアプノフ安定論

線形確率システム解析

• 時間領域
• 周波数領域

4. 確率制御

最適制御

• 因果性とフィードバック制御
• 動的計画法
• 【オプション】随伴法

線形最適制御

• 線形二次レギュレータ
• 【オプション】リスク鋭敏型制御

5. 状態推定

状態推定

• 統計的推論としての定式化
• 線形システムの可観測性と最尤初期状態推定

逐次推定

• 線形システムの逐次予測
• 線形二次ガウシアン制御
• カルマンフィルタ

軌道のMAP推定と最適制御の双対性

6. 最適制御（無限時間区間）

減衰係数

• 線形システムの安定性
• 無限区間最適制御
• 価値反復法

無限区間線形最適制御

• 無限区間線形二次レギュレータ
• 【オプション】最適H2制御

7. 統計的学習

【オプション】事前分布

• 乱数生成
• 無情報性と共役性

間数回帰

• 統計推論としての定式化
• 最小二乗法と正則化

特徴量抽出

• 主成分分析
• 次元削減と生成モデル

8. システム同定

最小二乗法

• 推定器としての最小二乗法
• システム同定

スペクトル法

• 正準相関解析と確率実現
• モデル低次元化と動的モード分解

9. 強化学習

最適制御と強化学習

モデルベースト設計

• 方策反復法
• 方策勾配法

モデルフリー設計

• TD学習
• アルゴリズム例
• 【オプション】部分観測問題

10. エントロピーとロバスト性

エントロピー正則化

• 動的計画法
• 雑音応答と最適制御

分布的ロバスト性

• 確率モデルの不確かさ
• min-max最適制御

11. マルコフ連鎖と平衡状態

有限状態確率システム

• ベルマン方程式と線形計画法
• 線形可解マルコフ決定過程

漸近挙動

• ペロン・フロべニウスの定理
• 定常状態と平衡状態

12. 数理最適解

凸最適化

• 多項式最適化
• 一般化モーメント問題

統計的学習のための最適化

• モンテカルロ法
• 誤差逆伝播
• 確率勾配法

13. ガウス過程回帰

カーネル法

• 半正定値カーネル
• ガウス過程回帰
• 【オプション】再生核ヒルベルト空間

ガウス過程回帰状態空間モデル

• モーメントマッチング
• ベイズ最適化

14. おわりに

連続時間確率システムへの接続

• ウィーナー過程
• 確率微分方程式
• 諸結果の対応

展望

付録

測度論的確率論

• 確率と確率変数
• 条件付き期待値・確率
• 確率過程

システム同定・状態推定に関する補足

• 定常確率過程
• 実現理論

定理の証明

• フィッシャー情報行列
• 生成モデルの敵対的学習
• 方策勾配定理
• min-max 問題に関する双対性
• マルコフ連鎖の漸近特性
• 確率勾配法