第13章 想见我？排队去吧！（4/6）
“蜘蛛陷阱？”
“这玩意在2000年以后连大一的计算机考试都不考了。”
林哲把嘴里的饼干渣咽下去，然后活动了一下十指。
“让大爷来教教你们什么叫降维打击。”
手指飞舞，键盘被敲得劈啪作响。
林哲直接在回复框里开始输出。
没有任何铺垫，不打任何招呼，直接甩干货。
“关于你们的死循环问题，思路从一开始就太死板了。”
“不要把爬虫当成一台只会顺着线走的机器。”
“引入‘随机冲浪者模型（Random Surfer model）’。”
林哲面无表情地打字。
“假设一个无聊的网民在上网，他有85%的概率顺着网页上的链接点下去。
但是！
他有15%的概率会突然觉得没意思，直接在地址栏输入一个全新的网址，跳出当前的圈子。”
“给算法加一个阻尼系数（damping Factor），设为0.
85。”
“只要加上这15%的随机跳转概率，所谓的‘蜘蛛陷阱’就会瞬间被打破。
死循环永远无法形成，权重计算立刻就能收敛。”
写完这段，林哲想了想。
光给答案不够刺激，还得再鄙视他们一下。
他又加了一段。
“另外，只看链接数量太粗糙了。
你们早晚会遇到垃圾网站作弊的问题。”
“引入‘trustRank（信任指数）’，选一批绝对权威的种子网站（比如大学、政府官网）。
离这些种子网站越近的链接，权重才越高。
那些互相链接的垃圾站，直接把它们的权重降成狗屎。”
“还有，别忘了把文本的‘tF-IdF（词频-逆文档频率）’结合进去。
光看链接不看内容，搜出来的全是标题党。”
“思路打开点，两位同学。”
写完。
本章未完，请翻下一页继续阅读.........