我做過多個2.0公司的技術(shù)顧問，簡單的談?wù)?.0公司遇到的問題(涉及隱私，我用A B C D代替)，這里就不再贅述大家眾所周知的頁面靜態(tài)化，緩存和代碼安全等問題了，有點技術(shù)的2.0公司的CTO都知道這些東西，我們談點發(fā)展之后的問題
A公司
A公司做的是SNS網(wǎng)站，程序是兩個毛頭小伙子做的，目標(biāo)直指51，程序開發(fā)是一帆風(fēng)順，功能也比51牛多了，推廣也是一帆風(fēng)順（A公司有自己獨到的推廣方式。但是當(dāng)ALEXA到2W的時候問題出來了，每天下午4點左右，網(wǎng)站速度慢的驚人，基本上打不開，公司三臺服務(wù)器CPU100%，讓人郁悶的是公司的網(wǎng)絡(luò)配置方式，居然是雙WEB的集群，而單獨一臺DB數(shù)據(jù)庫。整個瓶頸在數(shù)據(jù)庫，于是我建議做DB的集群，分析了一下數(shù)據(jù)結(jié)構(gòu)，MD，典型的WEB程序員的作品，沒有一點數(shù)據(jù)庫設(shè)計規(guī)范，功能實現(xiàn)是可以，如果要擴展，不可能，集群基本上是不可能的，怎么辦？不能辦，于是，一個月的時間修改程序，數(shù)據(jù)結(jié)構(gòu)基本上換了一遍 前期砸進(jìn)去的幾十萬打了水飄，用戶走光了。
結(jié)論：WEB2.0前期設(shè)計的時候不應(yīng)該只考慮功能，應(yīng)該認(rèn)真考慮一下底層和數(shù)據(jù)結(jié)構(gòu)了。
B公司
B公司也是做的SNS網(wǎng)站，程序是3個人開發(fā)的，CEO是某名牌大學(xué)的經(jīng)濟學(xué)碩士，有點知己網(wǎng)的味道，又有一些特色出來，說實話，公司的潛力不錯，CEO 有很強的運作能力，感覺前景不錯。系統(tǒng)架構(gòu)還行，但是---但是系統(tǒng)崩潰了，why?系統(tǒng)沒有考慮到用戶有個海量的說法，文件也有個海量的說法，用戶的相冊，圖片全部存貯在WEB服務(wù)器的一個分區(qū)上，每個用戶一個目錄，而打開性能監(jiān)視器，磁盤的IO高的驚人，基本上無暇響應(yīng)。眾所周知，文件系統(tǒng)也是一個數(shù)據(jù)庫，單獨大文件無所謂，關(guān)鍵是整個是300多個G的零碎文件，大量的讀寫操作，系統(tǒng)崩潰，數(shù)據(jù)丟失，文件系統(tǒng)的一個鏈斷了，用戶數(shù)據(jù)全部丟失！！！這是一個非常沉重的問題，系統(tǒng)整整停了一個月來做數(shù)據(jù)恢復(fù)（單獨文件很容易，但是海量文件目前還沒有一個軟件能組織起來軟件架構(gòu)）。解決方案：修改程序架構(gòu)，做分布式文件存貯（程序修改用了8天，但是文件轉(zhuǎn)移卻又用去了將近一個月），20萬用戶損失殆盡
結(jié)論：WEB2.0前期的設(shè)計應(yīng)該有應(yīng)付海量存貯的考慮，整個涉及了程序架構(gòu)的修改，前期規(guī)劃不好的話基本上思路一條。
C公司
C公司是一個值得尊敬的公司，CEO技術(shù)出身，和比爾蓋茨一樣，大學(xué)未畢業(yè)出來做網(wǎng)絡(luò)，01到03年做短信狠賺了一筆，后來做的小項目也小有所成，說實話，我很佩服。公司做的是校友方面，但是更偏重myspace風(fēng)格，注重個人主頁，推廣方面也下了大手筆。系統(tǒng)崩潰的原因其實很簡單，由于采用的是微軟的 SqlServer，而微軟直接就告訴了我們，SQLSERVER不支持集群，他們的數(shù)據(jù)庫超負(fù)載，100%就沒有下去過，只能橫向增加配置，采用了4路 4核CPU系統(tǒng)，但是系統(tǒng)還是崩潰了... 高互動注定了高負(fù)載。解決方案：現(xiàn)從基本入手，解決掉幾個程序耗能大戶，對數(shù)據(jù)庫采用橫向切割，將用戶每10萬進(jìn)行分組，同時對數(shù)據(jù)庫系統(tǒng)進(jìn)行散列，將多個表垂直分割，同時進(jìn)行文件分組，解決問題. 因為修改了數(shù)據(jù)結(jié)構(gòu)，程序也基本上大動了一下。 好在系統(tǒng)沒有出大錯，損失不算很大，不過對用戶體驗造成了很壞的影響。
結(jié)論：WEB2.0前期設(shè)計應(yīng)該有良好的散列考慮，程序應(yīng)該能有配合的擴充性，符合數(shù)據(jù)庫的擴充
D公司
D公司是一個各個方面做的比較好的公司，做了CDN加速，圖片也獨立分出了N個服務(wù)器，數(shù)據(jù)庫不錯的一個，(CTO是個數(shù)據(jù)庫專家），系統(tǒng)崩潰的原因在于 WEB，按道理說WEB很容易做集群的，但是發(fā)現(xiàn)集群并解決不掉問題，他們的集群只允許做4臺的WEB集群，但是4臺都當(dāng)?shù)袅恕Ｗ屑?xì)分析，找到原因，我估計整個也是大部分CTO最容易犯的一個錯誤，或者說他們根本就想不到的問題，就是WEB上傳的問題，上傳的時候由于時間的原因，線程是保持鏈接的，300 個線程就可以把一個WEB Server當(dāng)?shù)袅。解決方案：這個最簡單，把上傳和其他耗能大戶分離出獨立出來。程序改動不是很大，但是之前半個月速度滿對用戶體驗的損失也不可小視。
結(jié)論：沒有什么結(jié)論了，畢竟有海量訪問經(jīng)驗的CTO不多，也就是那幾個大站的。
總結(jié)：不是潑冷水，模仿其實是很容易的，隨便找?guī)讉WEB程序員就能做到，并且很簡單，速度可能還很高效，因為WEB2.0無非就是跟數(shù)據(jù)庫打交道，會操作數(shù)據(jù)庫就會做。但是真正做大并不容易，因為能應(yīng)付海量訪問的程序并不簡單，現(xiàn)在的程序員都太自命不凡，其實真正有經(jīng)驗的并不多，不要相信一個月薪5K- -10K的程序員能給你多大的驚喜，能應(yīng)付海量訪問的程序員不是那個價格。如果您想做2.0，想做大，有幾個個建議：
一.找DBMS的專家設(shè)計好數(shù)據(jù)庫，大部分程序員都不知道分區(qū)視圖，數(shù)據(jù)散列，數(shù)據(jù)組的概念
二.設(shè)計好程序架構(gòu)（這個其實不難，有個高人指導(dǎo)就行了），保持良好的擴展性，成本考慮可以找兼職的系統(tǒng)架構(gòu)設(shè)計師做好系統(tǒng)架構(gòu)，確定將來的發(fā)展瓶頸。
三.考慮好文件存貯的問題。文件存貯的技術(shù)含量看起來很低，其實是很高的，可以考慮反向代理的方案。文件存貯出問題了，站點基本上就完蛋了，不僅僅是RAID的問題和存貯服務(wù)器的問題，不過道理倒是一點就破的
四.中國國情考慮，這個最致命，需要考慮電信和網(wǎng)通的問題，CDN并不能解決所有問題；有缘臇|西并CDN并不是很有效。最關(guān)鍵的是，現(xiàn)有的雙線機房遇到DDOS攻擊基本上都會當(dāng)?shù)，原因很簡單，雙線機房都是私人機房，本身就不會有太高的帶寬，隨便攻擊一下就可以D掉（順帶提一個笑話，我知道一個雙線機房的老總總共1G的帶寬卻買了4G的金盾墻，很簡單800M的攻擊就可以搞定）。
五.網(wǎng)絡(luò)延遲的問題，這是分布式系統(tǒng)必須要考慮的，程序要能容忍0到100秒的數(shù)據(jù)延遲的功能，也就是同步的問題。不要小看這幾十秒，問題很大的，如果你的站點有交互式功能，比如即時聊天，你可以想象一下是個什么結(jié)果。對于即時聊天的東西，可以用反向代理來解決（成本較高）。但是對于留言和評論的影響不大，但是如果系統(tǒng)為了健壯做了緩存和靜態(tài)化的時候，這個東西可能就是災(zāi)難性的了。
六.分散你的程序，如果你沒有太多的資金構(gòu)筑動輒百萬的服務(wù)器，建議把功能分散開來，比如相冊一臺服務(wù)器，留言一臺服務(wù)器
七.看好你的程序員，如果沒有很好的激勵措施的話你的程序員很容易寫出敷衍性的代碼，而這個可能就是將來的大患，程序架構(gòu)定下來后要修改可能就要費牛勁了。最好你的CTO能對你100%的衷心，100%的負(fù)責(zé)。
八.文件同步的問題，這個問題可能你覺得沒有必要，如果你看一下網(wǎng)通和電信的TTL就明白了，同步要支持續(xù)傳，并且不能是持續(xù)的，否則你的成本會高出N倍，不要期望能通過你的軟件實現(xiàn)，交給你的程序員吧，把上面的話告訴他他就知道怎么做了。
九.最狠的一個問題了，也是吃虧最大的問題，不管您跟網(wǎng)警的關(guān)系多好，看好你的用戶，審核好你的東西，一被停機可能就致命，本人就吃過N次虧。
十.最后，祝各位站長一番風(fēng)順，大展宏圖。（轉(zhuǎn)載）
[此貼子已經(jīng)被EnjoyIT于2007-12-7 14:35:22編輯過]
加好友 
發(fā)短信
Post By：2007/12/6 21:04:03
