Closed
1 hour
normal
importance
importance
Geschwindigkeit beim Datenbankaufbau | Wörterbuch im Ram-Modus (?)
posted in Unknown by davidak
|
SVN 1008
AMD 4x 3.4GHz 4GB (2.75GB) DDR3 RAM Die Prozessorauslastund war 2% (während dem Fragen beantworten auch mal 25%) und RAM wird insg- 720MB benutzt. Das was es bremst wird wohl die Festplatte sein. Im Rammodus wenn er grosse Faktdateien einliest hat er eine Geschwindigkeit von ~2500facts/sec bei hdd nur max 1300 und meistens um die 800. Beim Beantworten dauert der Wörterbuchabgleich immer sehr lange, könnte man die Dateien nicht einfach auch im Arbeitsspeicher ablegen? Auf meinem System macht es einen Unterschied. Als ich das letzte mal die Datenbank aufgebaut hab auf einem Intel Core2Duo 3GHz dauerte das etwa 12 Minuten. Ist soviel dazu gekommen oder ist die neue rev so verändert das es schlechter geworden ist ODER ist AMD einfach schlechter als Intel :D 217213 facts 28:50 Min hdd 217213 facts 4:48 Min ram Ein kleiner Unterschied! lg davidak April 22, 2010, 12:27 am |
Comments
| Comment #1 from Tobias Schulz |
Mir ist nicht klar, was du vergleichst? Der Unterschied zwischen 4 und 28 Minuten, zwischen _was_ ist das der Unterschied?!
Außerdem ist mir nicht klar, was du meinst mit den 720MB? Ist das im RAM-Modus oder im Disk-Modus (im letzten wäre es natürlich ein Riesen-Bug!) Davidak, versuch doch mal etwas mehr Ordnung in deine Texte zu bringen, ich verstehe nicht was du meinst. April 22, 2010, 11:15 am |
|---|
| Status message from System |
The Bug has been closed by Tobias Schulz.
April 22, 2010, 11:15 am |
|---|
| Status message from System |
The Bug has been reopened by Tobias Schulz.
April 22, 2010, 11:15 am |
|---|
| Comment #4 from davidak |
Es ist die Zeit vom starten bis die Datenbank fertig eingelesen wurde (Neuaufbau) und ich eine Frage stellen kann.
Die 700MB ist der benutze RAM während FH im RAM Modus läuft (hab davor aber auch Firefox benutzt etc also eher unwichtig und nicht aussagekräftig) WAS ICH EIGENTLICH SAGN WOLLTE: RAM-Modus ist deutlich schneller beim Aufbau der Datenbank. Die Antworten waren gefühlt schneller und die längste Zeit hing er bei dem Wörterbuchabgleich. Meine Vermutung ist, dass von der Festplatte nur langsam gelesen werden kann und es daher lange dauert, bis eine Antwort kommt, denn die CPU ist wenig ausgelastet und RAM ist auch genug da. Die Frage ist ob man das Wörterbuch in den RAM kopieren kann um das schneller zu machen? Wäre eine Art RAM-Disk vorstellbar, wo man einfach die database.db reinwirft und die Wörterbuchdateien um die schnelle Zugriffszeit des RAMs auszunutzen oder ist das Programmiertechnisch schwer? Wie funktioniert der Ram-Modus grob erklärt jetzt? Die Unordnung im Text spiegelt nur die Unordnung meiner Gedanken wieder, entschuldigt. Ich hab immer tausend Ideen aber es fällt mir schwer das zu ordnen. PS: bei dem Download Ohne Datenbank ist der Ordner "Saved" da, wodurch die Datenbank nicht sofort aufgebaut wird sondern erst, wenn man diesen löscht. lg davidak April 22, 2010, 4:41 pm |
|---|
| Comment #5 from Tobias Schulz |
Im RAM-Modus wird die Datenbank ins RAM eingelesen, statt in die database.db geschrieben. Dafür muss man beim RAM-Modus immer wieder neu aufbauen.
Der Grund für den RAM-Modus ist ja, dass der DISK-Modus wegen der Festplatte langsam ist, und daher wird der RAM-Modus auch in der Onlineversion verwendet, damit die "Laufkundschaft" nicht so lange warten muss. Die Wortartdateien werden auch ins RAM eingelesen. Allerdings nicht beim Start, sondern mitten im Antwortprozess. Das sieht man daran, dass im DOS-Fenster alles 1-3 Sekunden stehen bleibt und FreeHAL schreibt, dass die .brain-Datei gecacht wird. Die Wortartdateien lassen sich deshalb nur mittendrin einlesen, weil der Wortart-Code in Perl, der Datenbank-Code aber in C/C++ implementiert ist. Der C-Teil von FreeHAl läuft immer, auch am Anfang und im Leerlauf, der Perl-Teil aber nur beim Antwortprozess. April 22, 2010, 8:07 pm |
|---|
| Status message from System |
The Bug has been closed by Tobias Schulz.
April 22, 2010, 8:07 pm |
|---|
