親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。

開放與交流 把大數據變黃金

A- A+
2016-08-16 01:47 經濟日報 陳昇瑋

大數據為什麼是個讓人興奮的趨勢呢?因為這是人類歷史上,第一次讓個人有機會可以擁有、處理及分析超越中小型圖書館的資料量(約幾十到幾百個TB)的能力。當然,在蘊藏大量黃金的金礦前,若我們只有十字鎬就開始挖礦,就像沒有學過統計、機器學習及好的資料分析工具就開始分析資料一樣,花了再多人力及時間,成果也只會讓人失望。

我們必須要認清一個現實,要拿資料來解決真實世界的問題,所需要的知識及技術通常已超過所謂的「直覺式資料分析」,也就是開個軟體畫長條圖、直方圖、折線圖及圓餅圖,以及跑個統計檢定,大家一起開個會議來看看趨勢及差異是否夠顯著,以為這就是在運用資料分析做決策。

大部分情況下,要不然資料有太多維度,或有重要但無法測量的維度,或是無法直接用統計軟體處理(例如文字、影像)等等,透過所謂的「直覺式資料分析」,通常是看不出個所以然來。但此時,若有適切的資料分析能力,看起來像垃圾的資料可能瞬間就變成黃金。

所以並不是擁有資料的公司就一定有競爭力,競爭力來自於怎麼處理、分析及利用所擁有的資料。有太多的機構擁有像寶山一樣的資料集,卻只是堆在磁碟陣列中,殊不知這些資料的價值一天一天在削減,不好好開採的話,其實跟網路上抓下來但沒時間看的電影一樣,放心酸的。

資料分析的步驟難在哪裡呢?事實上,學習使用資料分析工具或程式語言並不特別困難,學習統計及機器學習等技術當然有些難度,但也不會造成關鍵差異,重點在於可能的解決方法太多,因此,在什麼時候?應該拿哪些技術/方法/工具的組合?做什麼樣的調校?來解決某個特定問題,才是最困難的挑戰。

換句話說,資料分析有大致的原則及步驟,但沒有絕對的SOP,所以跟蛋炒飯一樣,人人有材料就會做,但是炒出一盤油而不膩、粒粒透亮分明的蛋炒飯,沒有一定的火候是做不到的。

舉個例子,前陣子擔任一個資料競賽的評審,資料來源及目標是一致的,但十組團隊就有十種作法,雖然工具的使用看似大同小異,但因應用方式的差別,預測的精準度可以差個兩倍以上。這是為什麼開放及交流很重要,沒有交流,只是閉門造車,一個團隊關起門來「精益求精」,殊不知外頭的發展日新月益。有時候一個小撇步,可以造成巨大的效益,若沒有交流,讓先聞道者瞭解你有這個問題,當然也沒有機會告訴你。

許多人擔心公司的營業秘密會因此分享而外流,其實絕大部分情況下都是多慮。大家的工具基本上都是類似,只是因為資料、問題及情境的差別有不同的使用組合,不太可能將一個作法直接套用在另一個情境。更何況,資料的運用有個天然屏障,沒有資料就沒辦法重製。今天若Facebook或LINE把它的資料分析方法公開,沒有它的資料庫,我們什麼事也做不了。

以資料產業來說,核心競爭力的第一要素是資料,第二是能夠善用資料的人才,第三要素才是工具。的確擁有資料才是王道,但擁有資料的公司,也請記得給人才自由,讓他們在技術層面能做適度的開放與交流。這是一個的選擇題:只能閉門造車的人才,以及與全球數十萬資料科學家維持同步的人才,你覺得哪一個表現會更好?

(作者是中央研究院資訊科學研究所研究員、台灣資料科學協會理事長)

大數據 電影 LINE

陳昇瑋

作者為中央研究院資訊科學研究所研究員、台灣資料科學協會理事長。研究專長為使用者經驗、多媒體系統、社群計算、計算社會學、群眾外包、大數據分析、資訊安全。
A- A+

相關新聞

台商拚南向 揪團打群架2017-06-29
供電的真正考驗來了2017-06-28
「貨幣」的前瞻基礎建設2017-06-27
期待提高生產力的前瞻計畫2017-06-26
獨董不能當花瓶2017-05-11
香港的真本土與假風波2017-05-07
中美匯率戰,誰是影武者?2017-01-09
台灣重拾競爭力 五路進擊2017-01-12
財經傳奇…小燕子與明天系2017-01-16
挺監理沙盒 宜跨部會支援2017-01-20
翻修公司法 接軌國際資本市場2017-01-26
低估股將翻身2017-01-26
長照2.0 要守護三張笑臉2017-02-02
Fed說一套做一套 話術被看穿2017-06-16
修公司法 該調整管制理念2017-02-23
賣北京樓買上海股的道理2017-05-29
遊覽車司機工時的治本之道2017-02-28
公司法應穩健改革 分階段翻修2017-03-02
跨世代團結 激盪新思維2017-04-19
從企業角度看司法改革2017-03-07
一例一休 從改變制度做起2017-04-14
迎19大…擼起袖子拚經改2017-03-08
迎接人機共融新時代2017-03-09
韓流變寒流 商家劃清界線2017-03-13
讓年輕人勇敢創業2017-03-14
併購M型化的警訊2017-05-29
發展人工智慧 須拋開速食心態2017-05-25
翻修公司法 要有e化概念2017-05-01
北京樓價狂飆的內幕…2017-03-20
特派看中國/武林爭鬥…就為了一個市場2017-05-08
創新、企業倫理與永續發展2017-06-09
發展人工智慧的四大挑戰2017-03-29
大陸股市 倒劉風起2017-05-01
縮表,對金融市場的警告...2017-06-06
秒殺金融首虎 震懾保險大鱷2017-04-10
文在寅射三箭救經濟2017-05-22
特派員看中國/高官談互聯網…全民熱議2017-06-19
體育經濟學的潛規則2017-06-26
給畢業生的信2017-06-19
零售大數據導入AI 精算商機2017-01-03

熱門文章

油價跌不停的憂慮2017-06-29
台商拚南向 揪團打群架2017-06-29
快思結合慢想 走出經濟丁字路口2017-06-29

商品推薦

留言


Top