《都市之科技之门》第十章 大数据模块 免费试读
第十章大数据模块
垃圾文件确实需要清理，但如何识别是个大问题。陈宇需要研究和整合！
这是个大工程，毕竟不是一两个，而是自动识别处理！
数据永远爬不上去，因为每时每刻都在产生新的数据，然后新的垃圾也随之而来！
数据垃圾处理有很多种，表层清理，深层清理！
等等各种各样的东西都会出现，而陈宇在这里是一个让人头疼的问题。
查了一下资料，发现网络信息并不完善。看来只能去大学图书馆或者国家图书馆查阅资料了。
最重要的是在电脑上看这些资料太繁琐了！
“嫣儿，Renren.com现在有多少注册用户？!"陈宇这个时候我关注了已经出版一段时间的《Renren.com》，做了病毒式推广。不知道现在结果如何？！
“国内注册用户超过320万，国外超过480万，而且这个数字还在攀升！能不能通过你设计的背景查一下具体情况？！还有一些组件和功能需要更新！”语嫣低声道！
陈宇听到这里，我点点头，连接到人人网的网站。后台数据是匆忙设计的，没有任何意图。现在看起来很混乱，但是仔细看还是能看清楚的。
“背景还需要重新设计！”陈宇叹了口气，开始重新设计背景。数据库的属性也需要更改，但幸运的是，陈宇准备用版本直接覆盖以前的数据。当然，这不是删除，而是覆盖。
这次陈宇加入了大数据分析的设计！
这涉及到一个非常复杂的算法！
Hadoop是一个可以分布式处理大量数据的软件框架！他的表现还是很牛逼的，可以处理pb级的数据！
还有hpcc技术！还有其他种类的技术！
非常复杂！
海量并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网、可扩展存储系统都属于大数据的范畴。但是，陈宇我们现在需要做的是对海量的并行处理数据进行设计和分析。
整整两天，陈宇待在房间里用2789元配置的台式机设计大数据模块！
“终于完成了！”陈宇看着监控没错的背景，我吐了一口气说！
两天的战斗让陈宇非常疲惫。起床伸了个懒腰后，我能感觉到骨头的噼啪声！
“嫣，测试和分析，这个模块是我设计的吗？!"陈宇说了一句心里话后，我下楼，打开冰箱，拿出一根旧冰棍放进嘴里。
清爽的味道真的令人振奋！
“嫣儿也想吃吗？!"
听着闫妍羡慕的语气和甜美的声音，陈宇心里一阵释然，说:“不是我不给你，是我给不了你！”
陈宇看着可怜兮兮的闫妍儿。
“吼吼~”
陈宇" "
玩笑过后，陈宇还是问起了大数据模块的设计。
“你设计的这个模块有很大的问题，它的兼容性和扩展性太差了！高手，你也是神级java技能高手。大数据的设计简直太可怕了！”闫妍的调侃陈宇顿时无奈又有点尴尬！
“我不是建筑师，我知道的是技术。另外，我也没想那么多。有什么好的建议吗？!"
陈宇开始指挥锅！
但颜二直接无视，说:“建议是回炉重修。你需要仔细考虑。如果你单纯是这个时期时间够用，那没问题，但是你以后返工就很麻烦了！”
“啊~”陈宇叹了口气，说:“我就知道！”
兼容性和扩展性的设计真的很难，因为相当于定了标准！
陈宇无奈，只好重来。不过在开始之前，陈宇先开始了解一下架构的设计，兼容性等等！
一周左右的时间，陈宇终于完成了二次设计的大数据内容！
一周的时间看似很短，但是陈宇这期间花了四天时间学习了兼容性和扩展性的真正概念，设计也是基于之前的设计，很顺利！
“这次没有问题了吧？!"陈宇有些忐忑的问题！
真怕颜二说“回炉重造！”
“嗯嗯，这次好多了。有12个不稳定的地方让你修改！”燕儿道，然后陈宇找到了燕儿众所周知的不稳之地。刚开始没觉得不稳，慢慢发现不稳了。这是因为测试后数据出现异常的几率很小！
二话不说，换！
怎么改？陈宇看你的了。颜二不提供技术支持！
修改了十二个不稳定的地方后，陈宇再次测试，发现稳定性提高了很多，效率也提高了！
反复确认没有问题后，陈宇添加了这个模块。至于上一个模块，陈宇没有删除！
所有的开发者都知道数据是不能轻易删除的。如果要删除，直接覆盖！
这是最好的办法！
因为数据删除是真的删除！
更新后的模块看起来很舒服，所需数据一目了然！
Renren.com功能简单，设计也不错，但是用户还是太少。陈宇它需要大量的用户，所以要有效推广！
提升最快的是游戏！
当然还有其他服务！那是视频和音乐！
这个时候音乐和视频陈宇可以说是拥有了世界上所有的资源，无论是正版还是盗版！
“嫣嫣，现在有12亿多首音乐，很多都是粗制滥造，真正好的音乐只有十分之几。你觉得我有必要删除或者屏蔽这些粗制滥造的音乐吗？!"
陈宇想了一下问，这些都是无版权的，在国外肯定会被起诉，但是陈宇不在乎，因为陈宇会给钱，而且给的钱很少。
给钱不给钱是我的事，给你的还是你的。至于价格低？！那是你的事，不是我的。反正你也找不到我的服务器！
