Spline

Une spline est ce que l’on obtient en ajustant un polynôme de bas degré distinct dans chaque région d’un prédicteur, puis en exigeant que les morceaux se rejoignent proprement. Laissés sans contraintes, les morceaux divergent aux frontières : ajuster quatre cubiques indépendantes à deux cents points simulés avec des nœuds en 40, 50 et 60 produit des sauts d’environ 6,3, 5,5 et 6,3 unités dans la valeur ajustée. Exiger la continuité, une dérivée première continue et une dérivée seconde continue supprime ces sauts, et chaque contrainte coûte exactement un degré de liberté, faisant passer une cubique par morceaux à un nœud de huit paramètres à cinq.

La forme pratique est un modèle à fonctions de base : l’ajustement ne quitte donc jamais les moindres carrés ordinaires. En partant de x, x² et x³, ajoutez une colonne de puissance tronquée (x − ξ)³ pour x au-dessus du nœud et zéro sinon, à raison d’une par nœud. Ajouter une telle colonne ne change que la dérivée troisième en ce nœud, laissant la valeur, la pente et la courbure continues, et c’est pourquoi les contraintes n’ont pas à être imposées séparément. Une spline cubique à K nœuds est par conséquent une régression sur K + 4 colonnes et, comme une discontinuité de la dérivée troisième est invisible à l’œil, le degré trois est le choix conventionnel.

Les splines sont peu fiables aux bords des données, où une cubique n’a d’observations que d’un seul côté et est libre d’osciller. Une spline naturelle ajoute l’exigence que la fonction soit linéaire au-delà des nœuds extrêmes, soit deux contraintes à chaque extrémité, ce qui ramène un ajustement à K nœuds à K degrés de liberté et rétrécit sensiblement les bandes de confiance à cet endroit. Les nœuds sont d’ordinaire placés aux quantiles uniformes du prédicteur observé, de sorte que la résolution suive les données, le nombre étant choisi par validation croisée. À degrés de liberté égaux, une spline l’emporte sur un polynôme parce que sa souplesse est locale : un polynôme élève son degré globalement et oscille fortement dans les queues.

Une spline de lissage abandonne complètement la sélection des nœuds. Elle minimise la somme des carrés des résidus plus une pénalité λ fois l’intégrale du carré de la dérivée seconde, mesure directe de rugosité qui vaut zéro pour une droite. Le minimiseur se révèle être une spline cubique naturelle avec un nœud à chaque observation distincte, rétrécie par λ. Son nombre nominal de paramètres est donc n, mais la mesure qui a du sens est celle des degrés de liberté effectifs, qui tombent de n vers 2 à mesure que λ grandit ; à grand λ, l’ajustement reproduit exactement la droite des moindres carrés. La régression locale parvient à des fins voisines en ajustant une régression pondérée en chaque point cible, gouvernée par une fenêtre, et les modèles additifs généralisés transportent toute l’idée vers plusieurs prédicteurs en donnant à chacun sa propre courbe et en les additionnant.

Prenez f(x) = 1 + 2x − 0,05x² + 0,001x³ + 0,004(x − 50)³₊ et différenciez-la de part et d’autre du nœud en 50. Les sauts de la valeur, de la dérivée première et de la dérivée seconde valent 9 × 10⁻⁴, 4 × 10⁻⁵ et 4 × 10⁻⁶, c’est-à-dire du bruit numérique, tandis que la dérivée troisième saute de 0,024, exactement 6 × 0,004.

Ajuster une spline cubique avec des nœuds en 40, 50 et 60 à deux cents points simulés est un problème de moindres carrés à sept colonnes, K + 4 = 3 + 4. Différencier la courbe ajustée à chaque nœud donne des sauts d’ordre 10⁻⁴ ou moins, contre des sauts de plus de six unités pour l’ajustement par morceaux sans contraintes sur les mêmes données.

Sur les mêmes données, une spline de lissage avec un nœud à chaque point a 186,2 degrés de liberté effectifs à λ = 10⁻⁶, chutant à 2,06 à λ = 10⁶ et à exactement 2,00 à λ = 10¹⁸, où sa somme des carrés des résidus rejoint au centime près celle de la droite des moindres carrés ordinaires, 12 850,75.