引用:
|
作者ivantw
[1] 文字檔的開法？一行一行讀取？整個檔案一次讀入？文字檔有幾個？
[2] 500萬筆以上的資料量對Access是一種折磨。
[3] MSDE是比較好的選擇。
[4] 壓縮MDB檔，無法改善效能問題。（by你的狀況）
[5] 考慮到你的老闆會用這種架構，我不認為高手是真的高手...
PS: 我的工作是SFCS Leader/PM
有設Index嗎？怎麼設？
|
謝謝您的建議與指教
歹勢我沒說清楚，我是要處理新聞文章，十年分的文件大概6G
其中兩年的文件轉換成資料庫後，資料筆數分別是八百萬和一千兩百萬筆
1.，文件檔大概有幾百個，每個都幾十MB~112MB，如果用程式讀取文字檔是沒問題的，一次讀一點就好
而我所謂的"開啟"是用筆記本，效率很差...後來發現用ultraedit開比較快
之所以要開啟文件檔，是因為要看文件格式長怎麼樣以便剖析，才知道怎麼寫轉換程式
2.3.4 這幾天會著手轉換資料庫工作
5.如我前面所說，環境的問題和我老闆個人的習慣問題，所以才會有這種弔詭的做法
至於index的問題
在做資料轉換時，就把某個文字出現在哪一年哪一篇文章的哪一句
所有出現過的資訊都記錄下來
然後另外開個資料庫存放index table
而比數只會增加不會減少，user只會改資料的屬性不會刪除
剛開始效果還不錯，但筆數大概超過600萬筆時就變慢了
只是因為之前沒經驗現在嚐到苦頭了
沒考慮之後有可能要把大量資料拆成多個資料庫...所以要再改
