親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。
回聯合新聞網 RSS App 粉絲團 Line 我的新聞 udn family

又破了30大關 新台幣開盤升值2.2分 09:24

開放與交流 把大數據變黃金

2016-08-16 01:47經濟日報 陳昇瑋

大數據為什麼是個讓人興奮的趨勢呢?因為這是人類歷史上,第一次讓個人有機會可以擁有、處理及分析超越中小型圖書館的資料量(約幾十到幾百個TB)的能力。當然,在蘊藏大量黃金的金礦前,若我們只有十字鎬就開始挖礦,就像沒有學過統計、機器學習及好的資料分析工具就開始分析資料一樣,花了再多人力及時間,成果也只會讓人失望。

我們必須要認清一個現實,要拿資料來解決真實世界的問題,所需要的知識及技術通常已超過所謂的「直覺式資料分析」,也就是開個軟體畫長條圖、直方圖、折線圖及圓餅圖,以及跑個統計檢定,大家一起開個會議來看看趨勢及差異是否夠顯著,以為這就是在運用資料分析做決策。

大部分情況下,要不然資料有太多維度,或有重要但無法測量的維度,或是無法直接用統計軟體處理(例如文字、影像)等等,透過所謂的「直覺式資料分析」,通常是看不出個所以然來。但此時,若有適切的資料分析能力,看起來像垃圾的資料可能瞬間就變成黃金。

所以並不是擁有資料的公司就一定有競爭力,競爭力來自於怎麼處理、分析及利用所擁有的資料。有太多的機構擁有像寶山一樣的資料集,卻只是堆在磁碟陣列中,殊不知這些資料的價值一天一天在削減,不好好開採的話,其實跟網路上抓下來但沒時間看的電影一樣,放心酸的。

資料分析的步驟難在哪裡呢?事實上,學習使用資料分析工具或程式語言並不特別困難,學習統計及機器學習等技術當然有些難度,但也不會造成關鍵差異,重點在於可能的解決方法太多,因此,在什麼時候?應該拿哪些技術/方法/工具的組合?做什麼樣的調校?來解決某個特定問題,才是最困難的挑戰。

換句話說,資料分析有大致的原則及步驟,但沒有絕對的SOP,所以跟蛋炒飯一樣,人人有材料就會做,但是炒出一盤油而不膩、粒粒透亮分明的蛋炒飯,沒有一定的火候是做不到的。

舉個例子,前陣子擔任一個資料競賽的評審,資料來源及目標是一致的,但十組團隊就有十種作法,雖然工具的使用看似大同小異,但因應用方式的差別,預測的精準度可以差個兩倍以上。這是為什麼開放及交流很重要,沒有交流,只是閉門造車,一個團隊關起門來「精益求精」,殊不知外頭的發展日新月益。有時候一個小撇步,可以造成巨大的效益,若沒有交流,讓先聞道者瞭解你有這個問題,當然也沒有機會告訴你。

許多人擔心公司的營業秘密會因此分享而外流,其實絕大部分情況下都是多慮。大家的工具基本上都是類似,只是因為資料、問題及情境的差別有不同的使用組合,不太可能將一個作法直接套用在另一個情境。更何況,資料的運用有個天然屏障,沒有資料就沒辦法重製。今天若Facebook或LINE把它的資料分析方法公開,沒有它的資料庫,我們什麼事也做不了。

以資料產業來說,核心競爭力的第一要素是資料,第二是能夠善用資料的人才,第三要素才是工具。的確擁有資料才是王道,但擁有資料的公司,也請記得給人才自由,讓他們在技術層面能做適度的開放與交流。這是一個的選擇題:只能閉門造車的人才,以及與全球數十萬資料科學家維持同步的人才,你覺得哪一個表現會更好?

(作者是中央研究院資訊科學研究所研究員、台灣資料科學協會理事長)

大數據 電影 LINE

陳昇瑋

作者為中央研究院資訊科學研究所研究員、台灣資料科學協會理事長。研究專長為使用者經驗、多媒體系統、社群計算、計算社會學、群眾外包、大數據分析、資訊安全。
A- A+

相關新聞

陸金融開放 外資真能展拳腳?2017-11-23
發展數位經濟 放寬籌資規範2017-11-22
新零售…數據服務進駐量販業2017-11-21
大陸股市跳水…扯出雙緊論2017-11-20
19大之後 中國金融監管趨緊2017-11-20
防洗錢與稅務資訊透明的鏈結2017-03-22
勞退新制…學學私校退撫做法吧2017-03-23
供水供電建設擺第一2017-03-24
落實金融業公司治理 三路並進2017-09-18
秒殺金融首虎 震懾保險大鱷2017-04-10
大陸稅改…又一面反腐照妖鏡2017-09-04
房產稅 暗藏六大不確定2016-12-29
台幣升值壓力只增不減2017-04-17
跨世代團結 激盪新思維2017-04-19
2017政經三轉趨勢2017-04-21
捷運不應遍地開花2017-04-25
水環境建設 要面面俱到2017-04-26
翻修公司法 要有e化概念2017-05-01
大陸股市 倒劉風起2017-05-01
軌道經濟合用否?2017-03-27
香港的真本土與假風波2017-05-07
特派看中國/武林爭鬥…就為了一個市場2017-05-08
特派看中國/中等收入陷阱論辯再起2017-05-22
人仔跌不休 青菜便宜 銀行加息2017-01-01
文在寅射三箭救經濟2017-05-22
面對傳銷邪教 中國教育完敗2017-08-14
周小川明穩匯率 暗戰川普2017-01-02
中美匯率戰,誰是影武者?2017-01-09
科技萬花筒 玩轉A到Z2017-01-09
發展人工智慧 須拋開速食心態2017-05-25
台灣重拾競爭力 五路進擊2017-01-12
併購M型化的警訊2017-05-29
修公司法 該調整管制理念2017-02-23
守破離…匠心之道的精髓2017-09-28
財經傳奇…小燕子與明天系2017-01-16
川普減稅計畫 台企不見得有利2016-12-07
賣北京樓買上海股的道理2017-05-29
二線城搶人才,送房又送錢2017-10-16
挺監理沙盒 宜跨部會支援2017-01-20
兩個千億富豪的大數據之戰2017-06-05

熱門文章

阿里買高鑫 零售業轉型賽鳴槍2017-11-23
陸金融開放 外資真能展拳腳?2017-11-23
QE退場,投資人不必感到驚慌2017-11-22
幸福城市第7站 台中/舊城區再造 人氣回籠2017-11-23
幸福城市第7站 台中/托育一條龍 宜居加分2017-11-23
幸福城市第7站 台中/攜手醫院 理賠更即時2017-11-23
股災30周年 「黑色星期一」會再重演?2017-11-22
幸福城市第7站 台中/照護連發 強化社區關懷2017-11-23

商品推薦

留言


Top