最近のBayesian Methods
Clustering 系の Bayesian Methods
HLT の Tutorial が非常に面白かったので紹介します。
http://bayes.hal3.name
http://www.isi.edu/~hdaume/bayes/hlt-slides.pdf
HLT 2004 の tutorial はここ。
https://ssli.ee.washington.edu/~bilmes/bilmes_hlt04_tutorial/bilmes_tutorial.pdf
これらのモデルで、何が難しいかというと、Hidden Variableがふたつ以上隣にあり、関連があるために、推定しにくいのが問題だそうです。 だから分布が指定してあっても簡単に計算できない。
前に出てきたTutorial (non-parametric bayes)は、
このtutorialの延長線上にあります。 分布のパラメータが、データが増えるに従って増えるように直し、クラスタの数などをあらかじめ指定しなくてもすむようにすると、次のような話になります。
http://www.cs.berkeley.edu/~jordan/nips-tutorial05.ps
Graphical Modelで、non-parametric priorをつかって、いろいろな相関関係を考慮しながらクラスタリングする話です。 Hidden Variableがクラスターを表しています。
まとめトピックということで、
もう少し使いかたの具体例がある tutorial がここらへんです。
http://www.milab.is.tsukuba.ac.jp/~myama/pdf/topic2006.pdf
http://www.stanford.edu/~grenager/papers/dp_2005_02_24.ppt
他の presentations
http://l2r.cs.uiuc.edu/~cogcomp/AIML/ARCHIVE/2004-FALL/papers/braz.ppt
http://www.cs.columbia.edu/~risi/talks/chinese.pdf
http://www.cs.huji.ac.il/course/2004/learns/LatentDirichletAlloc.ppt
http://courses.ece.uiuc.edu/ece598/ffl/paper_presentations/NicolasLoeff_LDA.pdf
もうすこし細かい論文。
中華料理店プロセスと、中華料理チェーン店プロセス
(Chinese Restaurant Process & Chinese Restaurant Franchise Process)
http://www.cog.brown.edu/~gruffydd/papers/ncrp.pdf
http://www.cs.berkeley.edu/~ywteh/research/npbayes/nips2004a.pdf
http://www.cse.buffalo.edu/faculty/mbeal/papers/bayana05.pdf
http://www.cs.princeton.edu/~blei/papers/TehJordanBealBlei2004.pdf
http://en.wikipedia.org/wiki/Chinese_restaurant_process
インド料理食べ放題プロセス
(Indian Buffet Process)
http://www.cog.brown.edu/~gruffydd/papers/ibpnips.pdf
http://www.cog.brown.edu/~gruffydd/papers/ibptr.pdf
Latent Dirichlet Allocation
http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf
http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf
http://chasen.org/~daiti-m/dist/lda/
パチンコ Allocation
http://www.cs.umass.edu/~mccallum/papers/pam-icml06.pdf
==================================
Clusteringだけではない！
Bayesian Regression/Classification
Bayes Point Machine
http://research.microsoft.com/~rherb/bayes_point_machines.htm
同じくBayes Point Machine (Online)で、Non-projective Dependency Parsingしたら Max Margin (Online) に勝った話。HLT2006
http://ssli.ee.washington.edu/people/duh/papers/BPMParsing.pdf
Gaussian Process
http://www.gaussianprocess.org/
