PCDVD數位科技討論區 - 程式設計問題：暫存檔問題

PCDVD數位科技討論區 (https://www.pcdvd.com.tw/index.php)

- 七嘴八舌異言堂 (https://www.pcdvd.com.tw/forumdisplay.php?f=12)

- - 程式設計問題：暫存檔問題 (https://www.pcdvd.com.tw/showthread.php?t=1064703)

38 GB 要寫入暫存檔會消耗很多的IO resource，更有可能會造成系統長時間沒有反應..最好還是改架構..

引用:

作者27681049

最佳化!!!
好令我感動的用語
...優化 ,優化 ... 我怎麼聽都不習慣...
:cry: :cry: :cry: :cry: :cry:

慘了，聽到妳這麼講我發現很多用語已經被同化了...
高清、質量、優化... :cry:

引用:

作者傳說

假設計算用電腦的記憶體
1.小於38GB，那麼系統可能已經實現你的要求
2.大於38GB，那你特別把它寫到硬碟上純粹浪費I/O效能...
既然大多數時間用不到
那為什麼不是修改程式於使用前再輸出這個矩陣?

現在計算用電腦是32G，所以目前開很大的虛擬記憶體給他吃(求解過程還要再複製2次矩陣)，光是要記憶體的過程電腦就會卡到以為當機了 :stupefy:

另外現在就是矩陣建立完就丟進求解器了

引用:

作者27681049

如果只是把記憶體內容丟到檔案.

樓主似乎把問題複雜了.
開個二進位的暫存檔案寫進去就好了.
想寫什麼就寫什麼.

如果矩陣大部分是零,寫檔之前找個簡單的壓縮程式壓一下就好了.

有找到過寫入二進位檔的方法

但對二進位值能否保留矩陣形態有疑慮所以沒使用

我等下再來研究這個地方

另外這個矩陣不是稀疏矩陣

引用:

作者gaha

序列化

java,.net,c++之類的高階語言都有現成的API
就算是c,也可以用記憶體指標以byte為單位做出類似的功能

這個看起來很有用，感謝您的分享

引用:

作者潛水族

二進位暫存檔案是正解,先解決問題.

最佳化(優化),後續再處理,不要本末倒置
其實不最佳化也可以,現在硬體很便宜,或用系統本身功能如cache,ssd就可以

最佳化還是要做啦

至少我還得要讓他可以吃多執行緒，要不然我大概每次要跑三天三夜才能看到結果

引用:

作者ming0407

38 GB 要寫入暫存檔會消耗很多的IO resource，更有可能會造成系統長時間沒有反應..最好還是改架構..

開啟檔案當然用隨機模式,不是循序模式,
影響很小:)(Windows PageFile 大概就是如此模式,平時會感到它的運作嗎?)
架構是可以隨便改的嗎?還是我們理解的架構意義不大一樣?

嗯~~好壞與我無關,建議到此為止.

從APPLE 2開始研究程式開發,
CP/M(APPLE 2)(56KB=64KB-16KB(IOMAP))就已經作做大矩陣-->檔案操作,
我說的解決方案絕對可行,效能也絕對不成問題,
至於所謂的需資源損耗,那是無論如何都避不掉,
除非放MEM,

言盡於此.

引用:

作者潛水族

我指的改架構是說看能不能不要去存取這38G的資料..
很久沒有 follow 檔案存取了，也不曉得有沒有改變，不過以前在學的時候，寫檔案都是很麻煩的事.. :jolin: :jolin:

為何不用 memory mapped file

引用:

作者27681049

最佳化!!!
好令我感動的用語
...優化 ,優化 ... 我怎麼聽都不習慣...
:cry: :cry: :cry: :cry: :cry:

感動+1

流行語就算了習慣用語還改...

如果程式本身是穩定的又是可以符合需求的，那麼可以用硬體解決的，就儘量不要去改軟體(而且看起來樓主對程式設計不是很熟)；在這個時代，硬體的成本是很低廉的...

我覺得你們 "可能" 一開始就搞錯方向了,
有沒有想過不用存檔邊收資料邊算的演算法?
把 programing 練好一點, 很多事情其實是很容易的.

:)