广义变系数模型的局部非线性似然估计

2019年10月Journal of Qufu Normal UniversitOct.2019y :/DOI10.3969i.ssn.1001-5337.2019.4.017j

广义变系数模型的局部非线性似然估计*

程慧燕

(郑州工商学院公共基础教学部,451400,河南省郑州市)

针对广义变系数模型,在局部线性似然估计方法的基础上将关于系数函数的局部线性拟合改进 摘要:

为局部非线性拟合,利用N进一步讨ewton-Rahson迭代解法得到广义变系数模型的局部非线性似然估计,p论了当连接函数为典则函数时迭代公式的具体结果,并辅以实例.

关键词:广义变系数模型;局部非线性似然估计;典则函数Newton-Rahson迭代;p

()中图分类号:O212.1 文献标识码:A 文章编号:1001-5337201904-0017-06

变系数模型是近期发展起来的颇受人们重视的一类具有广泛应用背景的回归模型,该模型通过假定线性回归模型中的回归系数是其他自变量的未知函数以增加模型的灵活性和适应性.同时,由于系数函数通常是某个自变量的一元函数而有效避免了拟合中的维数灾难问题.

基于广义线性模型的统计分析常被用于生物、医学以及金融等各个领域.此模型有两个基本假设:一是

在给定的自变量X的条件下,因变量Y的条件分布属于某一指数分布族;二是通过某一变换,该模型可以转化为线性回归模型.但是,很多实际问题中因变量与自变量之间的线性结构假设往往是不成立的.这就有必要建立新的模型形式,而广义变系数模型就是广义线性回归模型一个实用而有意义的推广.在广义变系数模际问题.

型中,因变量可以随自变量的变化而变化,使模型的应用更为广泛,能灵活处理因变量为更多分布类型的实

1]对广义变系数模型的各种拟合和统计推断方法的研究是当今数学界十分关注的一个课题.梅长林等[

[]-3

介绍了广义变系数模型的局部线性似然估计方法及其N对广义变系数ewton-Rahson迭代解法;Cai等2p

模型的局部线性似然估计提出了一步N同时研究了该模型的有效估计以及拟合ewton-Rahson估计方法,p优度检验问题;考虑了广义变系数模型的变量选择问题;Lian在高维数据下,Kuruwita等则在连接函数未知的情况下研究了广义变系数模型的估计问题.本文在广义变系数模型局部线性似然估计方法的基础上给出了其局部非线性似然估计的Newton-Rahson迭代解法.p

1 广义变系数模型

…,…,设Y为因变量,若Y与X1,X1,X2,Xp,U为自变量,X2,Xp及U满足

…,…,(…,其中β满足E(2,ε为误差项,εU,X1,Xp)=0,Varε|U,X1,Xp)j=1,p)为未知函数,j(·)(

2

)称模型(为变系数回归模型.(U),=σ1

Y=U)X1+βU)X2+…+βU)Xp+ε=∑U)Xj+ε,1(2(p(j(ββj=1

p()1

*收稿日期:2019-03-01

)基金项目:河南省高等学校重点科研项目(17A110032.

,:作者简介:程慧燕,女,硕士,副教授;研究方向:广义多元分析、统计推断研究;1982-E-mailchenhuian2002@163.com.gy

曲阜师范大学学报(自然科学版)18 2019年则称Y服从指数族分布,令Y的条件数学期望为μ(xT,u)=E(YX=x,U=u),g(·)为连接函数,

TT

)…,,在给定X=x=(…,在模型(中,记X=(及U=因变量1X1,X2,Xp)x1,x2,xp)u的条件下,

或

u))=∑au)xjg(j(μ(x,

T

pj=1

()2()3

u)=gμ(x,

T

1-

为广义变系数模型.

(∑aj=1

pj(u)xj)

()yθ-bθæöç设Y的概率密度为f(在给定X=x和U=u的条件下,有,))÷,θ,=ex+c(py;yφφèa(øφ)

))…,在广义变系数模型(或(中,若a则广义变系数模型退化为().u)=b'θ23u)(2,j=1,p)为常数,j(μ(x,

广义线性模型.

2 广义变系数模型的局部非线性似然估计

…,…,由于连接函数g(·)是给定的,因此估计(Yi;XiXiXiUi)(i=1,2,n)估计条件期望μ(xT,u).1,2,p,

同广义线性回归模型的参数估计问题一样,在广义变系数模型(或(中,需要基于观测值2)3)

T

…,对于广义变系数模型,可以用局部似然方法u)的问题可归结为估计未知函数βu)(2,j=1,p).j(μ(x,

…,估计未知函数β梅长林等给出了广义变系数模型的局部线性似然估计方法,本文在此u)(2,j=1,p).j(

基础上给出广义变系数模型的局部非线性似然估计的N以取得未知函数ewton-Rahson迭代解法,u)pj(β…,(2,j=1,p)精度更高的估计.

样本,则广义变系数模型的样本形式为

…,…,…,设(Yi;XiXiXiUi)(i=1,2,n)为因变量与自变量X1,X2,Xp和U的一个容量为n的1,2,p,(i)θbθæyöi-÷,…,,(1)Yi~f((θexi=1,2,n);pç+c(i,i)=y;i)yφφ)èa(øiφ…,…,…,从而在给定(Xi(XiXiUi)(i=1,2,n)的条件下,Y1,Y2,Yn)T的条件对数似然函数为1,2,p,

(i)Yiθbθæöi-(i,l=ln(∏f(Yi;θi,i))=∑ç+cYi)÷.φφa(øi)i=1i=1èφnnTT

…,…,(2)g((Ui)XiUi),Xi=(XiXii=1,2,n).i)=∑i=1,j(j,p),μβμμ(Xi,

pij=

…,则对于给定的u0∈由T 设βu)(2,I,alor公式得在u0yj=1,p)在其定义域I内有二阶连续导数,j(的领域内有

''(u0)jβ()()()()(uu'uuuu-u0)2.≈+-+000jjjβββ2

在u0的局部,近似有

从而广义变系数模型的局部非线性最大似然估计即为求

…,a(u0)=(u0),u0)1(p(ββ(0)(0)

…,(u0),=(1pββ″u0)æöj(β(Ui-u0)2÷Xiu0)+β'u0)(Ui-u0)+i)=∑çg(j,j(j(μβ2èøj=1

p使得局部对数似然函数

,…,…,'u0),'u0),″u0),″u0))T 1(1(p(p(ββββ(1)(1)(2)(2)

…,…,(((((u0),u0),u0),u0),u0))T11ppββββ()4

…,…,…,L(a(u0))=L(u0),u0),'u0),'u0),″u0),″u0))1(1(1(p(p(p(ββββββ第4期 程慧燕:广义变系数模型的局部非线性似然估计 19

(i)Yiθbθæöi-(i,Ui-u0)=∑ç+cYi)÷Kh(φ()aèøii=1φpn()5()6

达到最大,其中

^^^^^…,…,…,则( 设上述优化问题的解为^a(u0)=^u0),u0),'u0),'u0),″u0),″u0))T,1(1(1(p(p(ββp(ββββ…,系数向量β(u)=(u),u),u))T在u=u0处的估计为1(2(p(βββ″u0)æöj(β(),(u)=b'θu0)+β'u0)(u-u0)+u-u0)2÷Xii)=∑çg(j.j(j(μ(x,μβ2èøj=1

^^^…,(u0)=^u0),u0),u0))T.1(2(β(βββp(

T

…,…,则因变量Y的条件数学期望在 设U=u0所对应的(X1,X2,Xp)的值为x0=(x0x0x01,2,p),部,i)是一个参数为g(μTT^,)、(由(和(式可知,在任一给定的u0∈(x0u0)的估计值为^u0)=g-1(∑u0)x045)6)I的局j(j).μ(x0,βpj=1

(U-(U-u0)2X1u0)2Xpöæ

÷的广义线性模型,自变量为çX1,只不…,…,,…,(U-(U-Xp,u0)X1,u0)Xp,

22èø…过相应的对数似然函数多了权值Kh(Ui-但是这些权值与参数向量a(u0)(i=1,2,n),u0)无关.

记

(0)(0)(1)(1)(2)(2)

…,…,…,((((((a(u0)=(u0),u0),u0),u0),u0),u0))T,111pppββββββq(k)

j…,…其中k=0,(i),(i),1,2;2,b'θV(b″θi=1,2,n;i=i)=j=1,p;μμp()

n(Ui-u0)k∂L(a(u0))Yi-μi(u0)=XiKh(Ui-u0),=∑j(k)

!()()()()aV'k∂u0iigμiji=1φμβ()7

……,)令a(其中φ>0为未知常数,则由(式得局部对数似然方程为ai=1,2,n,a1,a2,a7i)=in已知,φφ,

(Ui-u0)kYi-μi…,XiKh(Ui-u0)=0,k=0,1,2;2,j=1,p,j∑!()()()aV'kiigμii=1φμp()

2

(u0)æ(0)öj(1)β…(((Ui-u0)2÷Xii=1,2,n.u0)+βu0)(Ui-u0)+i)=∑çg(j,jjμβ2èøj=1

n()8

…(i),b″θi=1,2,n.

2

(u0)æ(0)j(1)β2öç÷Xi其中g()(i),()()()()'θV(uuUuUu=ii=bi)=+-+-00i0i0j,jjμμμββ∑2èøj=1

出其显示解是不可能的,通常只能通过迭代法求解.设局部对数似然函数L(a(u0))的Hessian矩阵分块表示如下:

…,在一般情况下,局部对数似然方程(是β(因此给8)u)=(u),u),u))T的非线性方程组,1(2(p(βββ2

∂L(a(u0))

ha(u0))=(k1)lj((k2)((∂u0)∂u0)ljββ)由(式可得H(7a(u0))中的各元素为

a(u0))æH0(

ç

a(u0))H(a(u0))=çH1(ç

a(u0))èH2(

H1(a(u0))H2(a(u0))H3(a(u0))H2(a(u0))ö

÷

H3(a(u0))÷,

÷

H4(a(u0))ø

其中0≤且当k1+同时局部对数似1≤l,k1,k2≤2,k2=k(k=0,1,2,3,4)时为H(a(u0))中的元素.j≤p,然函数的梯度向量为

(0)(0)(1)(1)(2)(2)

…,…,…,S(a(u0))=(u0),u0),u0),u0),u0),u0))T,q1(qp(q1(qp(q1(qp(

u0)k2Yi-XiUi-u0)k1æö(Ui-∂æil(1öμç÷-÷=∑çXiKh(Ui-u0),j()k21!!i=1èa()(())()()k2∂kaV'èøV'øil1iiigiigφβφμμμμn曲阜师范大学学报(自然科学版)20 2019年ton-Rahson迭代公式得t+1次迭代值为p

()()()()^^^^….at+1(u0)=at(u0)-H-1(at(u0))S(at(u0)),t=0,1,2,

(k)()

…,其中q式给出.设^则由N(u0)(k=0,1,2;2,7)at(u0)为a(u0)的第t次迭代值,ew-j=1,p)由(j1()()^^因H-1(而S(不妨设φ=1,根据(式迭代直至满足收敛准则,得at(u0))中有φ,at(u0))中有,3.6)

φ…,从而β(a(u0)的估计^a(u0),u0)=(u0),u0),u0))T的估计为1(2(p(βββ()9

^^^^u0).…,(u0)=^u0),u0),u0))T=(Ip,001(2(p,p)a(β(βββp(

当g(·)为典则连接函数时,仍取φ=1,则HV('(1,essian矩阵中的各元素简化为i)i)=gμμ(Ui-u0)k1+k2Kh(Ui-u0)

,ha(u0))=-∑XiXi1≤l,llj≤p,j(ja'(k1!k2!ii)gi=1μn()10

其中0≤令k1,k2≤2且当k1+k2=k(k=0,1,2,3,4)时为H(a(u0))中的元素.

u0)Kh(U2-u0)Kh(Un-u0)öæKh(U1-÷,,,…,W(a(u0))=Diagç

)()()'(a'a'èa1ø122nngggμμμæ

X1U1-u0)…X1U1-u0)1…X11(pp(çX1

çççX2X2U2-u0)…X2U2-u0)1…X21(pp(

X(u0)=ç

ç︙︙çç

çXn1…XnXn1(Un-u0)…XnUn-u0)pp(è

则Hessian矩阵可表示为

X1U1-u0)2X1U1-u0)2ö1(p(…÷

22÷

22÷X2U2-u0)Xp(U2-u0)1(…2÷

22÷,

÷︙

÷

22÷Xn1(Un-u0)Xp(Up-u0)

÷…n22ø

()11

H(a(u0))=-XT(u0)W(a(u0))X(u0),

此时局部对数似然函数的梯度向量中的元素为

q(k)

jKh(Ui-u0)(Ui-u0)k(u0)=∑XiYi-μi)j(!akii=1

nnT

…,记N(则梯度向量可表示为a(u0))=(g'(Y1-'(Y2-'(Yn-ggμ1)(μ1),μ2)(μ2),μn)(μn)),

Kh(Ui-u0)(Ui-u0)k…,Xi'(Yi-μk=0,1,2;2,=∑i)(i),gj=1,p.jμ!()a'kiigi=1μS(a(u0))=XT(u0)W(a(u0))N(a(u0)),

()

其中μi=g-1

TT

…而Xi其中e(2,n.u0)=eXT(u0)为X(u0)的第i行,i个元素为1其余元素为零的n维列向i,ni,n表示第

2

(u0)ææ(0)ööjβ(1)T2÷çç÷=g-1(Xi(()()()()Xu0)a(u0)),i=1,u+uU-u+U-uij00i0i0jjββ2èèøø

()12

…为迭代次数.t=0,1,2,

)、())量.将(式带入(式可得:当g(·)为典则连接函数时,11129Newton-Rahson迭代公式为p

()()()()()^^^^^at+1(u0)=at(u0)-(XT(u0)W(at(u0))X(u0))-1XT(u0)W(at(u0))N(at(u0)),

3 实例及模拟

例 Poisson变系数模型及其Newton-Rahson迭代公式.p

…,…,设因变量Y为计数变量,给定X=x=(x1,X=(X1,X2,Xp)T和U为自变量.x2,xp)T和U=

T

取连接函数g(则Pu时,Y~P(u)).lnoisson变系数模型为μ(x,μ)=μ,

第4期 程慧燕:广义变系数模型的局部非线性似然估计 21

ln(u))=∑u)xj,j(μ(x,βT

pj=1

,其中μ(xT,对于此模型有a1=a2=…=a而gu)=E(YX=x,U=u).'(n=1μ)=…,…,则有(Yi;XiXiXiUi)(i=1,2,n)及U=u0,1,2,p,

μ1

给定观测数据.

-1TT

…其中μ而u0)a(u0))=exu0)a(u0)),i=1,2,n.p(Xi(i=g(Xi(

…,W(a(u0))=Diag(μ1Kh(U1-u0),μ2Kh(U2-u0),μnKh(Un-u0)),

T

//…,N(a(u0))=(Y1Y2Yn/μ1-1,μ2-1,μn-1),

æ

X(u0)=çXiXiUi-u0)…XiUi-u0)1…Xi1(pp(

è

Ti…,…,…,a(u0)=(u0),u0),'u0),'u0),″u0),″u0))T,1(1(1(p(p(p(ββββββ上述结果带入

XiUi-u0)2XiUi-u0)2ö1(p(÷,…

ø22

…为迭代次数,即得Pt=0,1,2,oisson变系数模型的Newton-Rahson迭代公式.p

()()()()()^^^^^at+1(u0)=at(u0)-(XT(u0)W(at(u0))X(u0))-1XT(u0)W(at(u0))N(at(u0)),

…,和连接函数计算因变量Y的观测值,从而得打观测数据(基于这些数据Yi,XiXiUi)(i=1,2,1000).1,2,在区间[0,1]的1000个格点处分别利用局部线性估计和局部非线性Newton-Rahson迭代估计估计参数的p具体模拟结果为局部线性估计值为β=(样本标准差为0.利用局部非线性051,2.032),0627,β1,β2)=(3.显然利用局部非线性N估=(3,2)而言,ewton-Rahson迭代估计方法得到的估计结果误差更小,p1,2)=(ββ计结果更稳定.

~

~

~

在上述实例中,假设p=2,按照U,利用上述模型X1,X2,ε各自的分布抽取容量为1000的样本,

值,并以这1用相应的样本标准差衡量估计的稳定性.000个估计值的平均值作为对应系数的最终估计值,

^样本标准差为0.相较于参数的真实值β(Newton-Rahson迭代估计值为^3.017,2.008),0324.p1,2)=(β=^ββ4 结 论

线性似然估计,同时讨论了当连接函数为典则函数时迭代公式的具体结果.事实上,在Newton-Rahson迭p)迭代法;对于广义变系数模型的局部对数似然方程(也可以利用迭代加权最小二乘解法求解,不管是加权8最小二乘迭代解法还是Newton-Rahson迭代解法都是通过迭代求出估计值^u0)=pβ(

本文在局部线性似然估计方法的基础上利用Newton-Rahson迭代解法得到广义变系数模型的局部非p

代公式中信息矩阵比较复杂,不便于计算,可以进一步考虑用其数学期望代替得到修正的Newton-Rahsonp

对本文提出的广义变系数模型的局部非线性似然估计讨论运用一步Nton-Rahson估计方法那样,ewton-p同时讨论所得到的系数函数估计在渐进的意义下与本文提出的迭代估计是否有相同的Rahson估计方法,p精度;对于以上提出的有关广义变系数模型的统计推断问题及其应用还有待进一步研究.

^^^^…,为了得到系数函数的估计一般需要多次执行迭代算法,(u0),u0),u0))T=(Ip,00a(u0),1(2(p,p)βββp(

这在计算上的代价是很大的,所以也可以像Cai等对广义变系数模型的局部线性似然估计提出了一步New-

参考文献:

[]梅长林,王宁.近代回归分析方法[北京:科学出版社,1M].2012.

[]C,[]2aiZ,FanJLiR.Efficientestimationandinferencesforvarin-coefficientmodelsJ.JournaloftheAmericanStatisti-yg

曲阜师范大学学报(自然科学版)22 2019年

[]C,[]3aiZ,FanJYaoQ.Functional-coefficientreressionmodelsfornonlineartimeseriesJ.JournaloftheAmericanSta-g[]王松桂,史建红,尹素菊,等.线性模型引论[北京:科学出版社,4M].2004.

,():anJournalofStatistics2000,274715-731.,tisticalAssociation2000,95:941-956.,calAssociation2000,95:888-902.

[]F,[]5anJZhanSimultaneousconfidencebandsareandhothesistestininvarinoefficientmodelsJ.Scandinavi-gWY.ypgygc[]Z[]6houX,YouJ.Waveletestimationinvarin-coefficientartialllinearreressionmodelsJ.Statistics&ProbabilitetygpygyL[]Z[]7hanLeeSY,SonLocalolnomialfittininsemivarinoefficientmodelsJ.JournalofMultivariateAnalgW,gX.pygygcy[]F,H[],8anJuanProfilelikelihoodinferencesonsemiarametricvarin-coefficientpartiallinearmodelsJ.BernoulligT.pygyl

():2005111031-1057.,sis2002,82:166-188.,():ters2004,68191-104.

ofthegeneralizedvarin-coefficientmodelsyg

CHENGHuiany(,,,FacultfGeneralEducationZhenzhouTechnolondBusinessUniversit451400,ZhenzhouHenan,PRC)yoggyayg

Thelocallonlinearlikelihoodestimationsyn

tion.Furtherdiscussionandasecificexamlewhentheconnectionfunctionsarecanonicalfunctionsareppestablished.

varin-coefficientmodelsbsinhelocalnonlinearfittineansandNewton-Rahsoniterativesolu-ygyugtgmp

:AbstractThispaerpresentsanewimrovedlocallikelihoodestimationforfittinhegeneralizedppylgt

;Rahsoniterativesolutioncanonicalfunctionp

:;;NKeordseneralizedvarin-coefficientmodelslocallonlinearlikelihoodestimationewton-gygynyw