Q(s1,a2)估计值：Q(s1,a2)

q_target = r + self.gamma * self.q_table.loc[s_, a_]

q_table选择最大的一个值，sarsa选择的是将要采取的值

q有table可以参考，而sarsa没有

sarsa隔一步更新叫做sarsa(1)

sarsa(namuda)统一这一流程，namuda表示想要选择的步数

回合更新：所有步都和宝藏有关系，每个脚印在下回合被选择的机率会高一些

namuda取0-1

0单步更新

1回合更新

namuda越大，离宝藏越近的步更新力度越大

有个s，没有访问他就直接拿到了r，那么不可或缺性就很低

self.eligibility_trace.loc[s, :] *= 0
self.eligibility_trace.loc[s, a] = 1，有封顶