Mathmatica公式推导

你看看ReplaceAll（/.），Rule（->），Solve的帮助，另参吧里精品区《不会用 /. 和 -> 的人，连门都没入》那帖。部分高级内容可以参看《为什么 a^4 /. a^2 -> b 不输出 b^2 ？说说语义式匹配》那帖，不过这个对你来说可能还太早。
顺便，海塞（Hessian）矩阵可以直接用函数 D 计算：
D[f[x, y], {{x, y}, 2}]
更多内容可以参看 D 的帮助。
再顺便，你参考的这个材料里大量使用了下标和上标，这东西在Mathematica里可以弄出来，但初学者容易糊涂，建议先用诸如 p[ya,r] 的记号先凑合一下。

吃饱了撑的写了下：

注意二维阵可以直接按Ctrl+Shift+t切换，无需使用MatrixForm。