Divid Silver RL课程的记录

1. Introduction

强化学习的特点

1. 没有supervisor,只有reward signal  2. feedback是有延迟的,不是瞬时的。  3. 时间更重要,时序的  4. Agent的action影响后续它将接收到的data

Reward假设

所有目标都可以被描述为maximisation of expected cumulative reward。

一些概念

policy是agent的行为

Value function is a prediction of future reward.

A model predicts what the environment will do next. 预测next state,预测reward

分类RL agents

----value based(no policy, value function); policy based(policy, no value function):Actor Critic(policy, value function)

----Model Free(policy and/or value function, no model);Model Based(policy and/or value function, model)

Learning and Planning

---Learning: environment最开始是不知道的,agent与环境交互,agent improves它的策略

---Planning:environment的model是已知的,agent performs computations with its model(without any external interaction),agent improves its policy

Exploration and Exploitation

RL像是trail-and-error learning。exploration找到关于环境的更多信息;exploitation利用已知的信息最大化reward。

Prediction and Control

prediction---evaluate the future(given a policy);  Control---optimise the future(find the best policy)


2. Markov Decision Process

MDP描述了一个environment,并且这个environment是完全被观测的。一个Markov process是一个元组<S, P>,S是有限个数的states集,P是state转移概率矩阵。

Markov Reward Process---Value function

v(s)给出了state s的long-term value


Reture

Markov Decision Process

是一个Markov reward process,但是具有decision,即action

Policy

A policy π 是给定states后actions的分布

Value Function

state-value function

state-value function:从state s开始,遵从policy π的expected return

action-value function

action-value function:从state s开始,执行action a,并且遵从policy π后的expected return

optimal policy

define a partial ordering over policies


3. Planning by Dynamic Programming

Dynamic Programming可以用于解决具有以下两个特点的问题:1. 最优子结构 2. 重叠的子问题

Iterative Policy Evaluation

任务:evaluate a given policy π,解决方法:iterative application of Bellman expectation backup。backup分为synchronous同步和异步的

backup

Policy Iteration

包含两步:policy evaluation和policy improvement

Value Iteration

任务:找到最优的policy π,解决方法:iterative application of Bellman optimality backup

总结:


4. Model-Free Prediction

未知 MDP,Monte-Carlo Reinforcement Learning从经验学习

First-Visit Monte-Carlo Policy Evaluation

任务:evaluate state s,first time-step t that state s is visited in an episode

Every-Visit Monte-Carlo Policy Evaluation

任务:evaluate state s,every time-step t that state s is visited in an episode

Temporal-Difference Learning

learn directly from episodes of experience,是model-free的,没有MDP transitions或者rewards。从不完整的episodes学习。TD updates a guess towards a guess

比较MC和TD

TD可以在知道最后的outcome之前学习,TD可以在每一步完成后online的学习,而MC必须等到结束知道return。

TD可以在没有最终的outcome时学习,可以根据不完整的序列学习,而MC只能根据完整的序列学习。

MC具有高variance变化,0 bias,对初始value不敏感。而TD具有低variance变化,some bias,更高效,TD(0)可以收敛到vπ(s),对初始值更敏感。

TD利用Markov特性,在Markov环境中更有效;MC没有,在non-Markov环境中更有效。

MC:最小化mean-squared error。TD:max likelihood Markov model

Bootstrapping and Sampling

Unified View of Reinforcement Learning

推荐阅读更多精彩内容

  • 一. 增强学习简介 1.1 什么是增强学习? 机器学习的算法可以分为三类:监督学习,非监督学习和增强学习。 增强学...
    阿阿阿阿毛阅读 23,107评论 0 23
  • 一生中有个儿时的玩伴是多么幸福 它可以是一猫一狗一鸭、也可以是书、花与玩具!但它一定没有我的“小伙伴”来的更有魅力...
    藤花旧馆阅读 89评论 0 2
  • 1.认真准备自己要讲的话。介绍辞虽然简短,一般都不超过一分钟,但必须认真准备。首先,收集材料,主要包括三个方面:讲...
    猫小哚阅读 22评论 0 0
  • https://www.greenleafgroup.cn/login.html?from=timeline
    冰花玉洁阅读 431评论 0 0