data-science-advanced-math
Especialista em Matemática Avançada, Álgebra Linear, Topologia, Cálculo Diferencial e Otimização para Machine Learning e Ciência de Dados baseado nas obras Algebra, Topology, Differential Calculus, an
SKILL.mdskills/domains/data-science-advanced-math/SKILL.md
GitHubMatemática Avançada, Álgebra e Otimização para Machine Learning
Esta skill estabelece os fundamentos matemáticos rigorosos e computacionais para modelagem estatística, arquiteturas de Deep Learning, otimização convexa/não-convexa e análise em alta dimensionalidade.
📐 1. Álgebra Linear Avançada e Fatorações Matriciais para ML
1.1 Decomposição em Valores Singulares (SVD)
Para qualquer matriz real $\mathbf{A} \in \mathbb{R}^{m \times n}$: $$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T = \sum_{i=1}^r \sigma_i \mathbf{u}_i \mathbf{v}_i^T$$
- $\mathbf{U} \in \mathbb{R}^{m \times m}$ e $\mathbf{V} \in \mathbb{R}^{n \times n}$ são matrizes ortogonais ($\mathbf{U}^T\mathbf{U} = \mathbf{I}, \mathbf{V}^T\mathbf{V} = \mathbf{I}$).
- $\mathbf{\Sigma} = \text{diag}(\sigma_1, \sigma_2, \dots, \sigma_r, 0, \dots, 0)$ com valores singulares ordenados $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$.
- Teorema de Eckart-Young-Mirsky (Low-Rank Approximation): A melhor aproximação de posto $k < r$ em norma de Frobenius ou Espectral é: $$\mathbf{A}k = \sum{i=1}^k \sigma_i \mathbf{u}_i \mathbf{v}_i^T, \quad |\mathbf{A} - \mathbf{A}_k|F = \sqrt{\sum{i=k+1}^r \sigma_i^2}$$
1.2 Pseudo-Inversa de Moore-Penrose ($\mathbf{A}^+$)
$$\mathbf{A}^+ = \mathbf{V} \mathbf{\Sigma}^+ \mathbf{U}^T$$ Resolve problemas de mínimos quadrados lineares $\min_{\mathbf{x}} |\mathbf{A}\mathbf{x} - \mathbf{b}|_2^2$ com solução de norma mínima $\mathbf{x}^* = \mathbf{A}^+ \mathbf{b}$.
1.3 Fatorações de Cholesky e QR
- Cholesky ($\mathbf{A} = \mathbf{L}\mathbf{L}^T$): Para matrizes simétricas e definidas positivas (SPD), computacionalmente duas vezes mais rápida que decomposição LU. Essencial para Processos Gaussianos e Amostragem MCMC.
- QR ($\mathbf{A} = \mathbf{Q}\mathbf{R}$): Fatora em matriz ortogonal $\mathbf{Q}$ e triangular superior $\mathbf{R}$, fornecendo máxima estabilidade numérica para regressões.
📈 2. Cálculo Diferencial Multivariável e Cálculo Tensorial
2.1 Vetor Gradiente, Matriz Jacobiana e Hessiana
Dado um campo escalar $f: \mathbb{R}^n \to \mathbb{R}$ e uma função vetorial $\mathbf{F}: \mathbb{R}^n \to \mathbb{R}^m$:
- Vetor Gradiente: $\nabla f(\mathbf{x}) = \left[ \frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n} \right]^T \in \mathbb{R}^n$
- Matriz Jacobiana: $\mathbf{J}{\mathbf{F}}(\mathbf{x}) = \left[ \frac{\partial F_i}{\partial x_j} \right]{m \times n} \in \mathbb{R}^{m \times n}$
- Matriz Hessiana (Curvatura de 2ª Ordem): $\mathbf{H}f(\mathbf{x}) = \left[ \frac{\partial^2 f}{\partial x_i \partial x_j} \right]{n \times n} \in \mathbb{R}^{n \times n}$
2.2 Série de Taylor Multivariável de 2ª Ordem
$$f(\mathbf{x} + \Delta\mathbf{x}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x})^T \Delta\mathbf{x} + \frac{1}{2} \Delta\mathbf{x}^T \mathbf{H}_f(\mathbf{x}) \Delta\mathbf{x}$$
2.3 Regra da Cadeia Tensorial e Backpropagation
Para funções compostas em grafos computacionais: $$\frac{\partial L}{\partial \mathbf{W}^{(l)}} = \left( \frac{\partial \mathbf{z}^{(l)}}{\partial \mathbf{W}^{(l)}} \right)^T \frac{\partial L}{\partial \mathbf{z}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T \quad \text{onde } \boldsymbol{\delta}^{(l)} = (\mathbf{W}^{(l+1)})^T \boldsymbol{\delta}^{(l+1)} \odot \sigma'(\mathbf{z}^{(l)})$$
🎯 3. Otimização Convexa e Teoria da Dualidade (Gallier & Quaintance)
3.1 Problema Padrão de Otimização com Restrições
$$\min_{\mathbf{x} \in \mathbb{R}^n} f_0(\mathbf{x}) \quad \text{sujeito a } f_i(\mathbf{x}) \le 0 ; (i=1,\dots,m), \quad h_j(\mathbf{x}) = 0 ; (j=1,\dots,p)$$
3.2 Condições de Karush-Kuhn-Tucker (KKT)
Se o problema for convexo e satisfizer a condição de qualificação de restrições (Slater's condition), as seguintes condições são necessárias e suficientes para a otimalidade $(\mathbf{x}^, \boldsymbol{\lambda}^, \boldsymbol{\nu}^*)$:
- Estacionariedade: $\nabla f_0(\mathbf{x}^) + \sum_{i=1}^m \lambda_i^ \nabla f_i(\mathbf{x}^) + \sum_{j=1}^p \nu_j^ \nabla h_j(\mathbf{x}^*) = \mathbf{0}$
- Viabilidade Primal: $f_i(\mathbf{x}^) \le 0 ; (\forall i)$ e $h_j(\mathbf{x}^) = 0 ; (\forall j)$
- Viabilidade Dual: $\lambda_i^* \ge 0 ; (\forall i=1,\dots,m)$
- Folga Complementar: $\lambda_i^* f_i(\mathbf{x}^*) = 0 ; (\forall i=1,\dots,m)$
⚡ 4. Otimizadores Numéricos de Primeira e Segunda Ordem
4.1 Família Adam / AdamW (Primeira Ordem com Momentos Adaptativos)
$$\mathbf{m}t = \beta_1 \mathbf{m}{t-1} + (1 - \beta_1) \mathbf{g}_t, \quad \mathbf{v}t = \beta_2 \mathbf{v}{t-1} + (1 - \beta_2) \mathbf{g}_t^2$$ $$\hat{\mathbf{m}}_t = \frac{\mathbf{m}_t}{1 - \beta_1^t}, \quad \hat{\mathbf{v}}_t = \frac{\mathbf{v}_t}{1 - \beta_2^t}$$
- AdamW (Decaimento de Peso Desacoplado): $$\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \left( \frac{\hat{\mathbf{m}}_t}{\sqrt{\hat{\mathbf{v}}_t} + \epsilon} + \lambda \boldsymbol{\theta}_t \right)$$
4.2 Métodos de Segunda Ordem e Quase-Newton (BFGS e L-BFGS)
- Método de Newton Puro: $\Delta\mathbf{x} = - \mathbf{H}_f^{-1}(\mathbf{x}) \nabla f(\mathbf{x})$ (custo $\mathcal{O}(n^3)$ proibitivo para redes neurais).
- L-BFGS (Limited-memory BFGS): Mantém apenas os últimos $m$ vetores de deslocamento $\mathbf{s}k = \mathbf{x}{k+1} - \mathbf{x}_k$ e variação de gradiente $\mathbf{y}k = \mathbf{g}{k+1} - \mathbf{g}_k$, computando a direção de descida em tempo $\mathcal{O}(mn)$ e espaço $\mathcal{O}(mn)$.
🌐 5. Métodos Iterativos para Sistemas Lineares em Larga Escala (Solomon)
5.1 Método do Gradiente Conjugado (CG)
Resolve $\mathbf{A}\mathbf{x} = \mathbf{b}$ para matrizes simétricas definidas positivas (SPD) em no máximo $n$ iterações, gerando direções $\mathbf{A}$-ortogonais ($\mathbf{p}_i^T \mathbf{A} \mathbf{p}_j = 0$ para $i \ne j$): $$\alpha_k = \frac{\mathbf{r}_k^T \mathbf{r}_k}{\mathbf{p}_k^T \mathbf{A} \mathbf{p}k}, \quad \mathbf{x}{k+1} = \mathbf{x}_k + \alpha_k \mathbf{p}k, \quad \mathbf{r}{k+1} = \mathbf{r}k - \alpha_k \mathbf{A} \mathbf{p}k$$ $$\beta_k = \frac{\mathbf{r}{k+1}^T \mathbf{r}{k+1}}{\mathbf{r}k^T \mathbf{r}k}, \quad \mathbf{p}{k+1} = \mathbf{r}{k+1} + \beta_k \mathbf{p}_k$$
🗺️ 6. Topologia, Variedades e Redução Não-Linear de Dimensionalidade
6.1 Aprendizado em Variedades (Manifold Learning)
- Isomap: Preserva distâncias geodésicas calculadas em grafos de $k$-vizinhos mais próximos ($k$-NN) via Dijkstra + Classical Multidimensional Scaling (MDS).
- t-SNE (t-Distributed Stochastic Neighbor Embedding): Modela probabilidades de vizinhança no espaço de alta dimensão com distribuição Gaussiana e no espaço de baixa dimensão com distribuição t-Student (1 grau de liberdade), minimizando a divergência de Kullback-Leibler: $$\text{KL}(P \parallel Q) = \sum_i \sum_j p_{j|i} \log \frac{p_{j|i}}{q_{j|i}}$$
- UMAP (Uniform Manifold Approximation and Projection): Baseado em geometria Riemanniana e topologia algébrica (Fuzzy Simplicial Sets), garantindo preservação tanto de estrutura local quanto global.
🎲 7. Inferência Estatística e Regularização
7.1 Regularização L1, L2 e Elastic Net
$$\mathcal{L}_{\text{ElasticNet}}(\mathbf{w}) = \frac{1}{2n} |\mathbf{y} - \mathbf{X}\mathbf{w}|_2^2 + \lambda \left( \alpha |\mathbf{w}|_1 + \frac{1 - \alpha}{2} |\mathbf{w}|_2^2 \right)$$
- L1 (Lasso, $\alpha=1$): Promove esparsidade induzindo pesos exatos a zero devido aos cantos do politopo da norma $L_1$.
- L2 (Ridge, $\alpha=0$): Previne multicolinearidade e suaviza a norma dos coeficientes.