PCDVD數位科技討論區

PCDVD數位科技討論區 (https://www.pcdvd.com.tw/index.php)
-   系統組件 (https://www.pcdvd.com.tw/forumdisplay.php?f=19)
-   -   處理大量文字檔案的瓶頸? (https://www.pcdvd.com.tw/showthread.php?t=809814)

u8526425 2008-08-11 09:14 PM

其實我比較好奇
為什麼這麼大量的資料要帶來帶去...沒考慮過集中式資料庫 ?
後端DB自己弄, 不用牽就使用者
直接寫個簡易的查詢介面會比教user去下SQL語法好吧
SQL亂下一通你DB跑一個job可能就會跑死
分散之後, 異動後的同步怎麼規劃 ?
而且在client端安裝資料庫軟體...資源很容易被吃光而慢到爆炸

以我有限的經驗是想不太出來什麼狀況下會這樣規劃

Devil 2008-08-11 09:29 PM

sql server 2005 express 僅支援 1 CPU, 1G Ram, 4G資料庫大小

lobben 2008-08-11 09:33 PM

引用:
作者u8526425
其實我比較好奇
為什麼這麼大量的資料要帶來帶去...沒考慮過集中式資料庫 ?
後端DB自己弄, 不用牽就使用者
直接寫個簡易的查詢介面會比教user去下SQL語法好吧
SQL亂下一通你DB跑一個job可能就會跑死
分散之後, 異動後的同步怎麼規劃 ?
而且在client端安裝資料庫軟體...資源很容易被吃光而慢到爆炸

以我有限的經驗是想不太出來什麼狀況下會這樣規劃


哈 因為我跟我研究所的指導老師也就是老闆 和某研究單位在合作一個計畫
由於學校lab、該研究單位都有防火牆,要架集中式資料庫server得申請開port 手續一堆

再者,我老闆喜歡用隨身硬碟把整個資料庫和程式帶回家玩 :laugh:

而這個資料庫在那個研究單位是用"網路的芳鄰"開分享,再用Window Form透過區網存取,只限於區網使用,因為他們不希望資料外流
有新的東西要加到資料庫裡,還要跑過去更新。所以我就常常要把資料庫檔案帶來帶去 :cry: :jolin: :jolin:


現在
想在我的lab的區網內架一個SQL Server,供我做實驗跑數據,和老闆在校使用
如果老闆要帶資料庫檔案回家,我再轉成dbase或Access格式的檔案給老闆

在那個研究單位那邊也架一個SQL Server,至少多人在區網內同時查詢、存取會好一點
也不用整天一直壓縮Access的檔案

u8526425 2008-08-11 09:58 PM

兩地跑來跑去不累嗎 ?
要不要建議研究單位幫你弄個臨時的VPN連線
在裡面跑SQL replication同步
也許有某程度上的可行性

至於你家老闆
先給他用SQL2005 express撐看看
跑不動就是天意
請他改用校園授權版的SQL server吧

u8526425 2008-08-11 10:23 PM

校園環境沒有毒的機率應該不太高啦
我們公司有時也是拿研究單位或廠商的USB資料碟來插
常常都碼是即插即報
看到這類警告我已經連詢問使用者的力氣都沒了

有的裡面直接是放hack/crack toolset
我那時實在很想問他們拿這東西來我們這邊是想幹嘛

ivantw 2008-08-12 12:18 PM

[1] 文字檔的開法?一行一行讀取?整個檔案一次讀入?文字檔有幾個?
[2] 500萬筆以上的資料量對Access是一種折磨。
[3] MSDE是比較好的選擇。
[4] 壓縮MDB檔,無法改善效能問題。(by你的狀況)
[5] 考慮到你的老闆會用這種架構,我不認為高手是真的高手...

PS: 我的工作是SFCS Leader/PM

ivantw 2008-08-12 12:22 PM

補充一點:有設Index嗎?怎麼設?

georgelee 2008-08-12 12:31 PM

要速度,就不要用DB吧,我在五六年前處理500M左右的資料(新聞類)做檢索用,建檔約30-40分鐘完成... 用的是 P3+256M+隨便的硬碟。

lobben 2008-08-12 05:46 PM

引用:
作者u8526425
兩地跑來跑去不累嗎 ?
要不要建議研究單位幫你弄個臨時的VPN連線
在裡面跑SQL replication同步
也許有某程度上的可行性

至於你家老闆
先給他用SQL2005 express撐看看
跑不動就是天意
請他改用校園授權版的SQL server吧


這個要申請一下
看看行不行得通
感謝建議


所有的時間均為GMT +8。 現在的時間是10:48 PM.

vBulletin Version 3.0.1
powered_by_vbulletin 2025。