![]() |
PCDVD數位科技討論區
(https://www.pcdvd.com.tw/index.php)
- 系統組件
(https://www.pcdvd.com.tw/forumdisplay.php?f=19)
- - 處理大量文字檔案的瓶頸?
(https://www.pcdvd.com.tw/showthread.php?t=809814)
|
|---|
其實我比較好奇
為什麼這麼大量的資料要帶來帶去...沒考慮過集中式資料庫 ? 後端DB自己弄, 不用牽就使用者 直接寫個簡易的查詢介面會比教user去下SQL語法好吧 SQL亂下一通你DB跑一個job可能就會跑死 分散之後, 異動後的同步怎麼規劃 ? 而且在client端安裝資料庫軟體...資源很容易被吃光而慢到爆炸 以我有限的經驗是想不太出來什麼狀況下會這樣規劃 |
sql server 2005 express 僅支援 1 CPU, 1G Ram, 4G資料庫大小
|
引用:
哈 因為我跟我研究所的指導老師也就是老闆 和某研究單位在合作一個計畫 由於學校lab、該研究單位都有防火牆,要架集中式資料庫server得申請開port 手續一堆 再者,我老闆喜歡用隨身硬碟把整個資料庫和程式帶回家玩 :laugh: 而這個資料庫在那個研究單位是用"網路的芳鄰"開分享,再用Window Form透過區網存取,只限於區網使用,因為他們不希望資料外流 有新的東西要加到資料庫裡,還要跑過去更新。所以我就常常要把資料庫檔案帶來帶去 :cry: :jolin: :jolin: 現在 想在我的lab的區網內架一個SQL Server,供我做實驗跑數據,和老闆在校使用 如果老闆要帶資料庫檔案回家,我再轉成dbase或Access格式的檔案給老闆 在那個研究單位那邊也架一個SQL Server,至少多人在區網內同時查詢、存取會好一點 也不用整天一直壓縮Access的檔案 |
兩地跑來跑去不累嗎 ?
要不要建議研究單位幫你弄個臨時的VPN連線 在裡面跑SQL replication同步 也許有某程度上的可行性 至於你家老闆 先給他用SQL2005 express撐看看 跑不動就是天意 請他改用校園授權版的SQL server吧 |
校園環境沒有毒的機率應該不太高啦
我們公司有時也是拿研究單位或廠商的USB資料碟來插 常常都碼是即插即報 看到這類警告我已經連詢問使用者的力氣都沒了 有的裡面直接是放hack/crack toolset 我那時實在很想問他們拿這東西來我們這邊是想幹嘛 |
[1] 文字檔的開法?一行一行讀取?整個檔案一次讀入?文字檔有幾個?
[2] 500萬筆以上的資料量對Access是一種折磨。 [3] MSDE是比較好的選擇。 [4] 壓縮MDB檔,無法改善效能問題。(by你的狀況) [5] 考慮到你的老闆會用這種架構,我不認為高手是真的高手... PS: 我的工作是SFCS Leader/PM |
補充一點:有設Index嗎?怎麼設?
|
要速度,就不要用DB吧,我在五六年前處理500M左右的資料(新聞類)做檢索用,建檔約30-40分鐘完成... 用的是 P3+256M+隨便的硬碟。
|
引用:
恩 這個要申請一下 看看行不行得通 感謝建議 |
| 所有的時間均為GMT +8。 現在的時間是10:48 PM. |
vBulletin Version 3.0.1
powered_by_vbulletin 2025。