fstream - szybkość pobierania dużych ilości tekstu
Ostatnio zmodyfikowano 2016-11-06 02:01
Saran Temat założony przez niniejszego użytkownika |
fstream - szybkość pobierania dużych ilości tekstu » 2016-11-04 16:46:58 Wie ktoś może jaka jest szybkość odczytu wybranych fragmentów tekstu o wielkości ~35MB z pliku o wielkości 10GB-1000GB przy użyciu fstream? Da się w czasie poniżej 0.5s wczytać około 3 takie fragmenty? Może przy użyciu jednego wątku dla jednego fragmentu będzie szybciej? I jak sprawa wygląda przy dyskach HDD/SSD? |
|
Gibas11 |
» 2016-11-04 17:23:30 Fstream mi nigdy nie narzekał na rozmiar pliku i było ok, ale nie przekraczałem 20GB. Generalnie to czy dasz radę to wczytać w takim czasie zależy od procesora i dysku, głównie tego drugiego. SSD na pewno lepiej sobie poradzi z uwagi na (zwykle) dużo szybszy odczyt i znacznie mniejsze czasy dostępu, które w takich plikach mogą być problemem na HDD. |
|
pekfos |
» 2016-11-05 21:48:05 jaka jest szybkość odczytu wybranych fragmentów tekstu o wielkości ~35MB z pliku o wielkości 10GB-1000GB [..] Da się w czasie poniżej 0.5s wczytać około 3 takie fragmenty? |
A w jaki sposób mają być te fragmenty wybierane? Jeśli wiesz, gdzie te fragmenty się znajdują w pliku, to nie ma problemu, czytasz tylko to, czego potrzebujesz. Jeśli nie wiesz, to na pewno w czasie 0.5s nie przeszukasz 1000GB.. |
|
Saran Temat założony przez niniejszego użytkownika |
» 2016-11-06 02:01:52 Wiem, że będą w jakiś sposób poukładane, więc przeszukiwać raczej nie będę musiał. Jeśli nie wpadnę na pomysł w jaki sposób je układać, możliwe że zapytam o pomoc (w nowym temacie).
W każdym razie, odezwę się później, po zmierzeniu czasu odczytu itd. |
|
« 1 » |