用語集

統計学習で使われる主要な用語とその解説です。

← 目次に戻る
.632+推定量.632+ Estimator.632推定量.632 EstimatorAdaBoostAdaBoost (Adaptive Boosting)AIC(赤池情報量規準)Akaike Information CriterionANOVA分解ANOVA DecompositionAprioriアルゴリズムApriori AlgorithmBag of WordsBag of WordsBIC(ベイズ情報量規準)Bayesian Information CriterionCondensed Nearest Neighbor(CNN)Condensed Nearest NeighborCondorcetの陪審定理Condorcet's Jury TheoremConfidence(確信度)ConfidenceCoxスコア統計量Cox Score StatisticCp統計量Mallows' CpCurds and Whey法Curds and WheyELBO(変分下界)Evidence Lower Bound (ELBO)EMアルゴリズムExpectation-Maximization AlgorithmEMアルゴリズムExpectation-Maximization AlgorithmFisher基準Fisher CriterionFisher情報行列Fisher Information MatrixForward Stagewise回帰Forward Stagewise RegressionForward Stepwise SelectionForward Stepwise SelectionGCV(一般化交差検証)Generalized Cross-ValidationGini指標Gini IndexGraphical LassoGraphical Lassohat行列Hat MatrixHuber損失Huber LossISLEImportance Sampled Learning EnsembleK-Fold CVK-Fold Cross-ValidationK-meansクラスタリングK-means Clusteringk-近傍法k-Nearest Neighborskd-treek-dimensional treek近傍法k-Nearest NeighborsK平均法K-means ClusteringL₂正則化L2 Regularization / Ridge PenaltyLassoLeast Absolute Shrinkage and Selection OperatorLassoLasso (Least Absolute Shrinkage and Selection Operator)Leave-One-Out CVLeave-One-Out Cross-Validation (LOOCV)Leave-One-Out交差検証Leave-One-Out Cross-Validation (LOO-CV)Lift(リフト)LiftLOOブートストラップLeave-One-Out BootstrapMARMissing At RandomMARSMultivariate Adaptive Regression SplinesMCARMissing Completely At RandomMCMCMarkov Chain Monte CarloMetropolis-HastingsアルゴリズムMetropolis-Hastings AlgorithmNadaraya-Watson推定量Nadaraya-Watson EstimatorOOB誤差Out-of-Bag ErrorOptimal ScoringOptimal ScoringPageRankPageRankPastingPastingPRIMPatient Rule Induction MethodRidge回帰Ridge RegressionSCADペナルティSmoothly Clipped Absolute Deviation (SCAD)Support(支持度)SupportSVDによる次元削減SVD-Based Dimension ReductionVC次元VC Dimension (Vapnik-Chervonenkis Dimension)XORデータXOR DataアソシエーションルールAssociation Rulesアンサンブル学習Ensemble Learningアンサンブル収束Ensemble ConvergenceイジングモデルIsing Modelインサンプル誤差In-Sample ErrorウェーブレットWaveletエキスパートネットワークExpert NetworkエポックEpochエントロピーEntropyカーネルKernelカーネルトリックKernel Trickカーネル関数Kernel Functionカーネル平滑化Kernel Smoothingカーネル法Kernel Methodカーネル密度推定Kernel Density Estimation (KDE)ガウス・マルコフの定理Gauss-Markov Theoremガウス混合モデルGaussian Mixture Model (GMM)ガウス分布Gaussian Distribution / Normal DistributionギブスサンプリングGibbs SamplingクラスタリングClustering / Cluster AnalysisグラフラプラシアンGraph LaplacianクリークCliqueクリークポテンシャルClique PotentialグループLassoGroup LassoゲーティングネットワークGating Networkコスト複雑度剪定Cost-Complexity Pruningサブサンプリング(ブースティング)Subsampling (Stochastic Boosting)サポートベクターマシンSupport Vector Machine (SVM)サポートベクトルSupport Vectorシグモイド関数Sigmoid FunctionスタッキングStacking (Stacked Generalization)スパース主成分分析Sparse PCAスパース性Sparsityスパース性Sparsityスパース表現Sparse RepresentationスペクトラルクラスタリングSpectral Clusteringスラック変数Slack Variableソフトしきい値Soft ThresholdingソフトスプリットSoft Splitソフトマックス関数Softmax Functionソフト閾値処理Soft ThresholdingテストデータTest Dataテンソル積基底Tensor Product BasisデンドログラムDendrogramナイーブベイズ分類器Naive Bayes ClassifierノットKnotノンパラメトリック法Nonparametric MethodパーセプトロンPerceptronハードスプリットHard Splitバーンイン期間Burn-in PeriodバイアスBiasバイアス-バリアンス・トレードオフBias-Variance Tradeoffバイアス・バリアンスのトレードオフBias-Variance TradeoffバギングBagging (Bootstrap Aggregation)バックフィッティングBackfitting AlgorithmバックプロパゲーションBackpropagationハマースリー・クリフォード定理Hammersley-Clifford TheoremハミルトニアンモンテカルロHamiltonian Monte Carlo (HMC)パラメトリックブートストラップParametric BootstrapバリアンスVarianceバンド幅BandwidthバンピングBumpingバンプ・ハンティングBump HuntingヒンジロスHinge Lossヒンジ関数Hinge FunctionブースティングBoostingブートストラップBootstrapフーリエ変換Fourier TransformプロトタイプPrototypeベイズニューラルネットワークBayesian Neural Networkベイズモデル選択Bayesian Model Selectionベイズモデル平均Bayesian Model Averaging (BMA)ベイズ因子Bayes Factorベイズ分類器Bayes Classifierボロノイ分割Voronoi TessellationマージンMarginマスキング効果Masking Effectマハラノビス距離Mahalanobis DistanceマルコフグラフMarkov Graphマルコフ連鎖Markov Chainメモリベース手法Memory-Based Methodモデル選択Model Selectionモデル平均化Model Averagingユークリッド距離Euclidean Distanceラプラス近似Laplace ApproximationランダムフォレストRandom ForestリフレクテッドペアReflected Pairリンク関数Link FunctionルールアンサンブルRule EnsembleルールアンサンブルRule Ensembleロジスティック回帰Logistic Regression委員会法Committee Method一致性Consistency一般化加法モデルGeneralized Additive Model (GAM)仮説検定Hypothesis Testing加法モデルAdditive Model過学習Overfitting回帰Regression回帰関数Regression Function階層的クラスタリングHierarchical Clustering階層的専門家混合モデルHierarchical Mixtures of Experts (HME)学習ベクトル量子化Learning Vector Quantization (LVQ)学習率Learning Rate楽観性Optimism完全データ対数尤度Complete-Data Log-Likelihood監視型主成分Supervised Principal Components関数近似Function Approximation既約誤差Irreducible Error期待テスト誤差Expected Test Error期待予測誤差Expected Prediction Error (EPE)帰納的バイアスInductive Bias偽発見率(FDR)False Discovery Rate (FDR)疑似残差Pseudo-Residuals共分散行列Covariance Matrix共分散行列Covariance Matrix境界バイアスBoundary Bias教師あり学習Supervised Learning教師なし学習Unsupervised Learning局所ロジスティック回帰Local Logistic Regression局所最小値Local Minimum局所最適解Local Optimum局所線形回帰Local Linear Regression局所多項式回帰Local Polynomial Regression局所尤度Local Likelihood近似最近傍探索Approximate Nearest Neighbor (ANN)近接プロットProximity Plot近接行列Proximity Matrix区分線形Piecewise Linear訓練データTraining Data訓練誤差Training Error群衆の知恵Wisdom of Crowds経験分布関数Empirical Distribution Function計算量(計算複雑度)Computational Complexity決定株Decision Stump決定境界Decision Boundary決定木Decision Tree決定木Decision Tree固有値分解Eigenvalue Decomposition後退削除Backward Pruning交差エントロピーCross-Entropy交差検証Cross-Validation勾配ブースティングGradient Boosting構造化回帰モデルStructured Regression Model構造的リスク最小化Structural Risk Minimization (SRM)高次元問題High-Dimensional Problem混合モデルMixture Model混合判別分析Mixture Discriminant Analysis (MDA)座標降下法Coordinate Descent再生核ヒルベルト空間Reproducing Kernel Hilbert Space (RKHS)最近縮小セントロイドNearest Shrunken Centroids (NSC)最近傍縮小重心Nearest Shrunken Centroids最小角回帰Least Angle Regression (LAR)最小記述長Minimum Description Length (MDL)最小二乗法Least Squares最大クリークMaximal Clique最大尤度法Maximum Likelihood Estimation (MLE)最適分離超平面Optimal Separating Hyperplane最尤推定Maximum Likelihood Estimation三角形分割Triangulation散らす(Shattering)Shattering残差Residual残差平方和Residual Sum of Squares (RSS)指示関数Indicator Function指示行列Indicator Matrix指数損失Exponential Loss枝刈り(Branch and Bound)Branch and Bound事後確率Posterior Probability事後分布Posterior Distribution事前確率Prior Probability事前分布Prior Distribution次元の呪いCurse of Dimensionality次元削減Dimension Reduction次元削減Dimensionality Reduction自己回帰モデルAutoregressive Model (AR)自己組織化マップSelf-Organizing Map (SOM)自動関連度決定Automatic Relevance Determination (ARD)射影Projection弱い学習器Weak Classifier / Weak Learner弱い学習器Weak Learner主成分Principal Component主成分回帰Principal Components Regression (PCR)主成分曲線Principal Curves主成分分析Principal Component Analysis (PCA)周辺化Marginalization集合的弱信号Collective Weak Signal柔軟判別分析Flexible Discriminant Analysis (FDA)重み共有Weight Sharing重み減衰Weight Decay縮小(ブースティング)Shrinkage (Boosting)縮小ランク回帰Reduced-Rank Regression消滅モーメントVanishing Moments情報なし誤差No-Information Error条件付きテスト誤差Conditional Test Error条件付き期待値Conditional Expectation条件付き独立性Conditional Independence畳み込みニューラルネットワークConvolutional Neural Network (CNN)畳み込みニューラルネットワークConvolutional Neural Network (CNN)信頼区間Confidence Interval制限付きボルツマンマシンRestricted Boltzmann Machine (RBM)制限付き推定量Restricted Estimator正規化・標準化Normalization / Standardization正準相関分析Canonical Correlation Analysis (CCA)正準変量Canonical Variates正則化Regularization正則化判別分析Regularized Discriminant Analysis (RDA)正則化判別分析Regularized Discriminant Analysis (RDA)正定値カーネルPositive Definite Kernel生成モデルGenerative Model精密度行列Precision Matrix責任度Responsibility潜在クラスモデルLatent Class Model潜在変数Latent Variable線形回帰Linear Regression線形判別分析Linear Discriminant Analysis (LDA)線形判別分析(LDA)Linear Discriminant Analysis線形分離可能Linear Separability前向きステージワイズ回帰Forward Stagewise Regression前向き段階的加法モデリングForward Stagewise Additive Modeling相互作用の次数Order of Interaction相対的重要度Relative Importance損失関数Loss Function多次元尺度構成法Multidimensional Scaling (MDS)多重解像度解析Multi-Resolution Analysis (MRA)多重検定Multiple Testing多重補完Multiple Imputation多様体Manifold対角線形判別分析Diagonal LDA対比発散Contrastive Divergence (CD)代理分割Surrogate Splits単変量フィルタリングUnivariate Filtering置換検定Permutation Test超平面Hyperplane定常分布Stationary Distribution適応LassoAdaptive Lasso適応的最近傍法Discriminant Adaptive Nearest-Neighbor (DANN)投影追跡回帰Projection Pursuit Regression (PPR)統計モデルStatistical Model統計的学習Statistical Learning特異値分解Singular Value Decomposition (SVD)特徴空間Feature Space特徴選択Feature Selection特徴量Feature特徴量ランダム選択Feature Randomization / Random Feature Selection独立仮定Independence Assumption独立成分分析Independent Component Analysis (ICA)独立成分分析Independent Component Analysis (ICA)二項逸脱度Binomial Deviance二次判別分析Quadratic Discriminant Analysis (QDA)二分再帰分割Binary Recursive Partitioning剥ぎ取り(Peeling)Peeling薄板スプラインThin-Plate Spline罰則付き判別分析Penalized Discriminant Analysis (PDA)判別モデルDiscriminative Model判別関数Discriminant Function汎化誤差Generalization Error非パラメトリックロジスティック回帰Nonparametric Logistic Regression非負値行列因子分解Non-negative Matrix Factorization (NMF)非類似度Dissimilarity標準誤差Standard Error標本相関Sample Correlation表現定理Representer Theorem不安定性Instability不純度Impurity部分最小二乗法Partial Least Squares (PLS)部分最小二乗法Partial Least Squares (PLS)部分従属プロットPartial Dependence Plot部分従属性プロットPartial Dependence Plot復元抽出Sampling with Replacement分配関数Partition Function分離集合Separating Set分類Classification文字列カーネルString Kernel平滑化スプラインSmoothing Spline偏効果Partial Effect変数重要度Variable Importance変動係数モデルVarying Coefficient Model放射基底関数Radial Basis Function (RBF)無向グラフィカルモデルUndirected Graphical Model尤度Likelihood尤度Likelihood有効パラメータ数Effective Degrees of Freedom貪欲アルゴリズムGreedy Algorithm