摘要：還有就是，我拿到的第一手?jǐn)?shù)據(jù)，也不是什么結(jié)構(gòu)化數(shù)據(jù)，而是一個(gè)表格，和一個(gè)分散在多個(gè)文件夾下的視頻資源。原來只有約個(gè)視頻，都是交給普通人上傳的。一生成結(jié)構(gòu)化數(shù)據(jù)講述的是，數(shù)據(jù)如何從普通的文檔數(shù)據(jù)，變成最終可被程序化處理的過程。

我想寫一個(gè)簡單的系列文章。主題很簡單，就是記錄下面對上傳視頻需求時(shí)，攻城獅和普通人(泛指所有非技術(shù)人員)的一些區(qū)別。當(dāng)然，從需求分析到最終完整實(shí)現(xiàn)，每個(gè)步驟都是有干貨。我會盡量避免一些偏情緒化的表述。更多的時(shí)候，我們應(yīng)該把注意力集中在各個(gè)需求點(diǎn)本身的技術(shù)實(shí)現(xiàn)上。

這個(gè)系列的主要目的，就是秀一下我們作為攻城獅的優(yōu)越感；不過，我總覺得我們秀完，他們可能也不知道究竟發(fā)生了什么事。另外，更重要的是，這個(gè)系列文章展示了從需求分析到技術(shù)選項(xiàng)，一直到最終的自動(dòng)化上傳，自動(dòng)化測試的完整思考核實(shí)踐的過程。我覺得，對于攻城獅來說，后者可能是我們更需要交流和關(guān)注的。

我會適當(dāng)替換一些敏感的代碼細(xì)節(jié)。即使如此，我仍然努力會保證，經(jīng)過適當(dāng)配置后，所有代碼都是可以正常運(yùn)行的。

大概是上周一左右吧，臨時(shí)被安排去給一個(gè)內(nèi)部項(xiàng)目新上傳大約 100 個(gè)新的視頻資源。要的還很急，說是周三就要做好。好吧，當(dāng)時(shí)我就知道，那一周肯定會過的很“酸爽”。因?yàn)槟莻€(gè)項(xiàng)目可以認(rèn)為是沒有管理后臺的，數(shù)據(jù)是要直接上傳到數(shù)據(jù)庫。意思就是我要手動(dòng)編輯視頻相關(guān)的資料數(shù)據(jù)。還有就是，我拿到的第一手?jǐn)?shù)據(jù)，也不是什么結(jié)構(gòu)化數(shù)據(jù)，而是一個(gè) word 表格，和一個(gè)分散在多個(gè)文件夾下的視頻資源。

更“可怕”的是，我同時(shí)還被指派成了這個(gè)項(xiàng)目的 ”O(jiān)wner“。“Owner”，就意味著，我絕不能像他們上次那樣，繼續(xù)手動(dòng)傳視頻了。成本太高，而且數(shù)據(jù)容易混亂。上一次，我只是作為一個(gè)協(xié)作者，寫了幾行項(xiàng)目相關(guān)的代碼，幫他們簡單設(shè)計(jì)了一個(gè)數(shù)據(jù)庫表，也沒想太多，夠用就性。畢竟當(dāng)時(shí)時(shí)間也非常緊，許多東西也是沒辦法盡善盡美的。

原來只有約20個(gè)視頻，都是交給“普通人”上傳的。流程大概就是：視頻拷貝給普通人 --> 普通人上傳完視頻 --> 郵件發(fā)出來視頻url和視頻標(biāo)題 --> 我手動(dòng)把數(shù)據(jù)錄進(jìn)數(shù)據(jù)庫。中間，往返溝通了幾次，比如視頻尺寸不對了，視頻不能播放了，標(biāo)題和視頻不對應(yīng)了。。。真正的往返溝通，要比多很多，但是視頻數(shù)量少，總體來看倒也無傷大雅。

但是這次是大概100個(gè)視頻。就算是只錄入數(shù)據(jù)，差不多也得1個(gè)小時(shí)了，如果再手一抖，錄錯(cuò)了。。。更可怕的是，我成了項(xiàng)目的 Owner，以后這種事，都得我直接處理。跨部門溝通，真的成本很高，或者說我太懶了吧，懶得一遍遍去別人工位催人家。所以，我就暗暗發(fā)誓，這件事必須徹底解決。這次我要把包括視頻相關(guān)的數(shù)據(jù)，從生成到上傳，到自動(dòng)化驗(yàn)證，完全自動(dòng)化，智能化。雖然這100個(gè)視頻，時(shí)間上不會有太多變化，但是以后，再多的視頻，最多也就是輸入幾行命令，敲幾下鍵盤，就可以自動(dòng)搞定了。如此，這個(gè)Owner，才能做的舒心。當(dāng)然，它是一個(gè)很小的內(nèi)部項(xiàng)目，我也是真的不想再讓它以后占用我太多時(shí)間了。

如果沒有意外的話，本周三到周五晚上，每天一更；周末會適當(dāng)多寫點(diǎn)。

講述的是，數(shù)據(jù)如何從普通的 word 文檔數(shù)據(jù)，變成最終可被程序化處理的過程。是的，你沒看錯(cuò)，大部人“普通人”是用 Word 來傳遞數(shù)據(jù)的。好處就是人人都能看的懂；但是人人都能看懂的東西，攻城獅反倒沒法直接用。

項(xiàng)目對接了微軟拿到 Luis 語義識別系統(tǒng)。原來是手動(dòng)逐條驗(yàn)證每個(gè)問題和答案是否能匹配上。現(xiàn)在，必須寫個(gè)簡單的腳本來自動(dòng)化驗(yàn)證了。

就是如何把數(shù)據(jù)處理成數(shù)據(jù)庫需要的格式，自動(dòng)導(dǎo)入數(shù)據(jù)庫。因?yàn)槭莾?nèi)部項(xiàng)目，項(xiàng)目本身沒有提供數(shù)據(jù)編輯功能，所以我就采用最簡單的策略，每次數(shù)據(jù)有變化時(shí)，就全部刪除舊數(shù)據(jù)，重新批量導(dǎo)入新數(shù)據(jù)。新數(shù)據(jù)，肯定是從原始數(shù)據(jù)，自動(dòng)生成的。手動(dòng)輸入，真的很容易出問題。

就是如何把視頻批量自動(dòng)上傳到七牛服務(wù)器。肯定是一個(gè)自動(dòng)化腳本，可能大家都會寫。但是，小技巧往往解決大問題！晚上睡了一覺，第二天起來看到所有視頻都上傳完了，真的是很開心的事。

視頻是否上傳成功，肯定需要多帶帶驗(yàn)證的。只是上傳腳本不能說明一定都上傳成功了，需要多帶帶驗(yàn)證下。

這一步很關(guān)鍵。項(xiàng)目主要在 iPad 上用，所以需要驗(yàn)證每個(gè)視頻在 iPad 上能否自動(dòng)播放。iPad 上，用 HTML5 Video 播放視頻時(shí)，對視頻格式有一些要求，所以每個(gè)視頻都要驗(yàn)證下。原來，就那幾個(gè)，手動(dòng)點(diǎn)下就行了。現(xiàn)在，肯定不能再那樣了。于是寫了一個(gè)簡答的測試網(wǎng)頁，通過捕捉 Video 的一些事件，來實(shí)現(xiàn)自動(dòng)化批量驗(yàn)證視頻能否真正播放。