Bellman方程式を連続時間にしたものは、Hamilton-Jacobi-Bellman方程式と言い、解析力学のHamilton-Jacobi方程式の拡張になっています。
その背後にある理由を調べていたら、下記を見つけました(pdf注意)。この分野を理解したい人は一読をお勧めします。
https://www.jstage.jst.go.jp/article/butsuri1946/41/3/41_3_227/_pdf/-char/ja
実は、この著者の先生には習ったことがあります。私が大学2年生か3年生で受けた講義で本来の先生が長期出張のためこの著者が代講で来られて何回か講義を受けました。こういう洒落た話し方をする面白い先生で、ファインマンの量子力学の教科書を使ってスピンについて解説していましたが、電磁気の巻の話がしょっちゅうでてきました。電磁気学の巻の付録が「経路積分 path integral」のさわりで、この話にちょっと関係あります。ちょうどこの文章を書かれたころに習っていたことになります。確か企業にいる時に毎晩ファインマンを読んでいて、教えたくなったので大学に戻ったと言っておられた記憶があります。懐かしいです。私も講義を頑張らねばとあらためて思いました。
ハミルトンの第一主関数がなぜ制御理論に出てくるのか、上記解説を読めばわかりますが、時間ごとの最適なふるまいはある関数を最大にするように決めればよい、という話でベルマン方程式とつながります。経済学や哲学につながるのもわかると思います。「Bellman方程式は人生の終わりから小分けにして逆算せよ」、という意味である、というのは私が留学中苦しい時に読んで影響を受けた「7つの習慣」(The Seven habits of highly effective people, by Stephen R. Covey, 1989)の2番目の習慣（Begin with the end in mind）と同じことを言っているのも興味深いです。
英語は https://en.wikipedia.org/wiki/The_7_Habits_of_Highly_Effective_People から。
”The book goes over his ideas on how to spur and nurture personal change.”
spur 拍車をかける
nurture はぐくむ
“The first three habits aim at developing independence (i.e., self-mastery)
aim at 目標とする、狙う
self-mastery 自分が自分の主人であること
” Covey postulates that “between stimulus and response lies your ability to choose” how to react, and that nothing can hurt a person without the person’s consent. ”
postulate 仮設する
stimulus 刺激 複数形はstimuli スティミュらイ
consent 同意
“Grow and stay humble” 成長し、謙虚さを保ちましょう
”Priority should be given in the following order: Quadrant I. Urgent and important (Do) – important deadlines and crises”
priority 優先順位
quadrant I 第一象限（しょうげん）
“Habit 5 is expressed in the ancient Greek philosophy of three modes of persuasion:
Ethos is one’s personal credibility. It’s the trust that one inspires, one’s “emotional bank account”.
Pathos is the empathetic side, the alignment with the emotional trust of another person’s communication.
Logos is the logic, the reasoning part of the presentation. ”
persuasion 説得
ethos エトス、エートス 行動の傾向性、習慣、性格。ここでは「その人の信頼性」とちょっと違う意味で使っています。
pathos パソス 共感
logos ロゴス 言葉で書ける論理