親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。
回聯合新聞網 RSS App 粉絲團 Line 我的新聞 udn family

開放與交流 把大數據變黃金

2016-08-16 01:47經濟日報 陳昇瑋

大數據為什麼是個讓人興奮的趨勢呢?因為這是人類歷史上,第一次讓個人有機會可以擁有、處理及分析超越中小型圖書館的資料量(約幾十到幾百個TB)的能力。當然,在蘊藏大量黃金的金礦前,若我們只有十字鎬就開始挖礦,就像沒有學過統計、機器學習及好的資料分析工具就開始分析資料一樣,花了再多人力及時間,成果也只會讓人失望。

我們必須要認清一個現實,要拿資料來解決真實世界的問題,所需要的知識及技術通常已超過所謂的「直覺式資料分析」,也就是開個軟體畫長條圖、直方圖、折線圖及圓餅圖,以及跑個統計檢定,大家一起開個會議來看看趨勢及差異是否夠顯著,以為這就是在運用資料分析做決策。

大部分情況下,要不然資料有太多維度,或有重要但無法測量的維度,或是無法直接用統計軟體處理(例如文字、影像)等等,透過所謂的「直覺式資料分析」,通常是看不出個所以然來。但此時,若有適切的資料分析能力,看起來像垃圾的資料可能瞬間就變成黃金。

所以並不是擁有資料的公司就一定有競爭力,競爭力來自於怎麼處理、分析及利用所擁有的資料。有太多的機構擁有像寶山一樣的資料集,卻只是堆在磁碟陣列中,殊不知這些資料的價值一天一天在削減,不好好開採的話,其實跟網路上抓下來但沒時間看的電影一樣,放心酸的。

資料分析的步驟難在哪裡呢?事實上,學習使用資料分析工具或程式語言並不特別困難,學習統計及機器學習等技術當然有些難度,但也不會造成關鍵差異,重點在於可能的解決方法太多,因此,在什麼時候?應該拿哪些技術/方法/工具的組合?做什麼樣的調校?來解決某個特定問題,才是最困難的挑戰。

換句話說,資料分析有大致的原則及步驟,但沒有絕對的SOP,所以跟蛋炒飯一樣,人人有材料就會做,但是炒出一盤油而不膩、粒粒透亮分明的蛋炒飯,沒有一定的火候是做不到的。

舉個例子,前陣子擔任一個資料競賽的評審,資料來源及目標是一致的,但十組團隊就有十種作法,雖然工具的使用看似大同小異,但因應用方式的差別,預測的精準度可以差個兩倍以上。這是為什麼開放及交流很重要,沒有交流,只是閉門造車,一個團隊關起門來「精益求精」,殊不知外頭的發展日新月益。有時候一個小撇步,可以造成巨大的效益,若沒有交流,讓先聞道者瞭解你有這個問題,當然也沒有機會告訴你。

許多人擔心公司的營業秘密會因此分享而外流,其實絕大部分情況下都是多慮。大家的工具基本上都是類似,只是因為資料、問題及情境的差別有不同的使用組合,不太可能將一個作法直接套用在另一個情境。更何況,資料的運用有個天然屏障,沒有資料就沒辦法重製。今天若Facebook或LINE把它的資料分析方法公開,沒有它的資料庫,我們什麼事也做不了。

以資料產業來說,核心競爭力的第一要素是資料,第二是能夠善用資料的人才,第三要素才是工具。的確擁有資料才是王道,但擁有資料的公司,也請記得給人才自由,讓他們在技術層面能做適度的開放與交流。這是一個的選擇題:只能閉門造車的人才,以及與全球數十萬資料科學家維持同步的人才,你覺得哪一個表現會更好?

(作者是中央研究院資訊科學研究所研究員、台灣資料科學協會理事長)

大數據 電影 LINE

陳昇瑋

作者為中央研究院資訊科學研究所研究員、台灣資料科學協會理事長及台灣人工智慧學校執行長。堅信大數據及人工智慧的價值,長期推廣資料科學在各領域的應用。他期待讓資料科學及人工智慧在台灣不再是口號,而是真實拿來創造價值及協助產業升級的工具。
A- A+

相關新聞

實價登錄2.0應結合實價課稅2018-04-27
香港金融市場馬照跑舞照跳2018-04-23
川普挑動貿易戰 結果難料2018-04-26
請賴清德致電Edouard Philippe2018-04-24
快樂打哪來?2018-04-23
5G競賽...台灣快搶發球權2018-04-25
台灣廉價航空也有春天?2018-04-20
油水摻入越多,明斯基時刻將加速到來2017-11-06
歐洲政經情勢 短多長空2017-05-09
收購案失利 鴻海焉知非福2017-06-22
改革獨董制度 擺脫無牙老虎2017-06-20
稅改應趕進度 不宜溯及既往2017-12-07
攬儲大戰與金融嚴打2018-02-05
文在寅射三箭救經濟2017-05-22
共享經濟的真正定義2017-10-31
廢除法人董事 落實公司治理2018-01-10
數位貨幣取代紙幣 大勢所趨2018-04-16
大陸股市 倒劉風起2017-05-01
電力供應上演茶壺裡的風暴...2017-11-14
發展人工智慧 須拋開速食心態2017-05-25
賣北京樓買上海股的道理2017-05-29
鼓勵IPO 學學香港2018-01-04
高科技的狂風暴雨與黎明2018-04-10
數位全球化 經貿新秩序成形2017-08-21
新央行總裁 挑戰大2018-01-11
林鄭 首份施政報告獲致謝2017-11-12
經濟新周期之爭 風雲再起2018-01-29
韓胡不含糊…經濟等待新象2017-10-30
金融大鱷的日子難過了2018-01-22
香港的真本土與假風波2017-05-07
打不打貿易戰…答案將揭曉2018-04-09
東遷北上大事件 激起陣陣漣漪2017-12-18
創新、企業倫理與永續發展2017-06-09
特派看中國/武林爭鬥…就為了一個市場2017-05-08
特派看中國/中等收入陷阱論辯再起2017-05-22
大陸新尾季效應…衝衝衝變穩穩穩2017-10-02
落實金融業公司治理 三路並進2017-09-18
把綠電變便宜…要三管齊下2017-07-05
短鏈革命…正在翻轉製造業2018-03-29
確定的法條 不確定的世界2017-10-20

熱門文章

因應美中貿易戰 要有長期策略2018-04-27
實價登錄2.0應結合實價課稅2018-04-27

特別企劃

商品推薦

商品推薦

留言


Top