Вам не нужен матричный анализ

You Don't Need Matrix Calculus

Матричный анализ часто всплывает в соцсетях из-за популярности машинного обучения, но он требует запоминания сложных правил для строк и столбцов, а для тензоров становится ещё хуже. Автор утверждает, что можно обойтись обычным дифференцированием, если просто выписать индексы. На примере функции активации нейрона показано, как получить производные по всем переменным сразу, без громоздких матричных правил.