Neue Suchfunktion? Wer hat Lust?

[chris]

Da ich momentan für ein anderes Projekt *hüstel* ein paar Routinen schreibe, wollte ich mal fragen ob einer der üblichen Verdächtigen Lust hat, die Suchfunktion zu verbessern.

Konkret sind das Routinen die einen Suchindex anlegen. Um genau zu sein gibt es 2 neue Tabellen. In einer stehen alle Wörter die im Forum vorkommen und in der zweiten Tabelle steht welches Wort wie oft in welchem Posting vorkommt...

Das Ganze erzeugt zwar einen grossen Index, den kann man dann aber schneller durchsuchen als bisher

Problematisch wäre, dass jemand die Suchlogik bauen muss. Die Routinen zum indizieren von Postings bastel ich gerade... sie erzeugen das Wörterbuch, die Indizes und können auch Postings wieder aus dem Index & Wörterbuch entfernen...

Wenn jemand Lust hat.... man sollte Ahnung von SQL haben und sich mit dem Code von YaBB generell auskennen.

[MC600]

Ich antworte doch gern auf so eine nette Frage. Auch ich bin mit der alten Suchroutine unzufrieden und habe schon öfter über eine Verbesserung nachgedacht. Aber leider musste ich erkennen, dass dies meine Fähigkeiten überschreitet und mir momentan die Zeit fehlt, mich da tief reinzuknien. Sollte mein Forum dann endlich mit der 1.5.1 laufen, alle geplanten MOD´s umgesetzt sein (arbeite gerade an IM Archiv) und eine neue Suchfunktion immer noch fehlen, dann würde ich dich gern unterstützen.

[chris]

Hmm... ok... mal sehen was daraus wird....

Die Index-Routinen hab ich mittlerweile fertig. Sie fügen einzelne Messages oder ganze Threads zum Index hinzu und können auch Threads/Messages wieder aus dem Index rausnehmen. Dabei wird auch das interne Wörterbuch aktuell gehalten, so dass da wenig Müll drinne sein sollte.

Ich muss nur mal testen wie sich die Index-Grösse bei grossen Boards verhält....

Werde dazu ein Testprogramm schreiben und es auf einen grossen Datenbestand ansetzen ... und ich weiss auch schon wer mein Opfer dafür sein wird *zu Eloya grins*

[mediman]

hmm, medi will auch mal gucken!

[chris]

*grummel* *motz*

Hab gestern die Routinen auf einer grossen DB getestet... momentan sind die Routinen leider noch SEHR übel  

Ich muss nochmal Einiges da überdenken... ich werde aber wohl heute Abend oder morgen die routinen posten die ich bisher habe... vllt hat ja dann jmnd Lust was damit zu tun *g*

[Eloya]

Grins... ich habe auch getestet. Ca. 300.000 Entries, einer Message Tabelle von 190 MB.

Die Routinen sollten wirklich noch ma' überarbeitet werden - meinen Server hats in die Knie gezwungen. Und zwar so richtig übel, da half dann nur ein 'rcmysql stop' auf der Kommandozeile

Nico

[chris]

Ja... sorry, Nico

Mein kleiner 1 GHz Athlon zuhause hat 1 Stunde lang gearbeitet gehabt und dann gerade mal die Hälfte meiner 30 MB DB indiziert gehabt.... *grummel*

Also wieder von vorne :-/

[Eloya]

Nebenbei - mein Forum läuft auf nem Celeron 900 mit 256 MB RAM und einer verdammt größeren DB. Kannst dir denken was passierte...

*lacht*

Nico

[Blacky]

Anregung:

Habt ihr an eine Stopwordliste gedacht ? D.h. eine Liste der Wörter, die nicht indiziert werden sollen - ansonsten könnte ich mir vorstellen, dass jeder Server in die Knie geht, wenn auch Wörter wie "ich", "du", "der", "ein" (die in 90% der Postings vorkommen) indiziert werden.

[chris]

Anregung:

Habt ihr an eine Stopwordliste gedacht ? D.h. eine Liste der Wörter, die nicht indiziert werden sollen - ansonsten könnte ich mir vorstellen, dass jeder Server in die Knie geht, wenn auch Wörter wie "ich", "du", "der", "ein" (die in 90% der Postings vorkommen) indiziert werden.

Jein... daran gedacht hatte ich, aber noch nicht eingebaut (wobei Deine Beispiele eh rausfallen *g* alles mit <4 Buchstaben fliegt automatisch raus) ... hab das mal nachgeholt.... Ergebnis: aus einem 350 KB Testtext (Buch Genesis aus der Bibel und das Umsatzsteuergesetz... fragt nicht! *lach* Sind 2 Referenztexte die das Crypt-Tool der Deutschen Bank benutzt und die einzigen GROSSEN Textfiles die ich hier hatte) wurde eine 60 KB Wortliste....

Das sieht schonmal besser aus als vorher *g* Ich hab die Routinen ein bisschen geändert die die Texte in Wörter aufsplitten und unnötige Zeichen entfernt....

Die aktuelle Stopword-Liste (auf die sich nun die armen phpBB2 User stürzen werden die keine deutsche Liste finden können *muahahahaha*) sieht so aus:

aber
allein
also
auch
ausser
außer
bald
beim
bisschen
bist
bißchen
dabei
dadurch
dadurch
dafuer
dafür
dagegen
daher
dahinter
damit
danach
daneben
dann
daran
darauf
daraus
darin
darueber
darum
darunter
darüber
dass
dasselbe
davon
davor
dazu
dazwischen
dein
deine
deinem
deinen
deiner
deines
demselben
denn
derselben
desselben
dessen
dich
dies
diese
dieselbe
dieselben
diesem
diesen
dieser
dieses
doch
dort
ebenso
eine
einem
einen
einer
eines
entlang
etwa
etwas
euch
euer
eure
eurem
euren
eurer
eures
fuer
fuers
fürs
ganz
gegen
genau
gewesen
herein
herum
hinter
hintern
ihnen
ihre
ihrem
ihren
ihrer
ihres
jedesmal
jedoch
jene
jenem
jenen
jener
jenes
kaum
kein
keine
keinem
keinen
keiner
keines
mehr
mein
meine
meinem
meinen
meiner
meines
mich
nach
nachdem
naemlich
neben
nein
nicht
nichts
noch
nämlich
ober
obgleich
oder
ohne
paar
sehr
sein
seine
seinem
seinen
seiner
seines
seit
seitdem
selbst
sich
sind
sogar
solch
solche
solchem
solchen
solcher
solches
sondern
sonst
soviel
soweit
ueber
unser
unsre
unsrem
unsren
unsrer
unsres
waehrend
waere
waeren
warum
wegen
weil
weit
welche
welchem
welchen
welcher
welches
wenn
weshalb
wessen
wird
womit
wurde
während
wäre
wären
zwar
zwischen
zwischens
über

[Eloya]

Wenn du denkst es ist 'TRAVAR tauglich' dann kannst du mir eine weitere Version ja mal zum Testen schicken *grinst*  

[chris]

Wenn du denkst es ist 'TRAVAR tauglich' dann kannst du mir eine weitere Version ja mal zum Testen schicken *grinst*  

Mach ich dann *g* Nur momentan grübel ich erstmal darüber wie ich die Performance noch erhöhen kann... mit ner kleineren Wortliste isses ja noch nicht getan... ich muss ja auch noch die Indiezierungsprformance als solche erhöhen.... mal sehen was mir noch so einfällt....

[blar]

mach es doch so dass wörter die zu oft vorkommen auftomatisch nicht mehr in den index aufgenommen werden. also zb wenn ein wort 0,2 % von den anzahl der wörter insgesamt vorkommt dann auf die Stopwordliste.

[Eloya]

Wie kommst du eigentlich auf die DeuBa? Sag bloß du kennst die NT2001 Dom. und den Taunus Tonne? *ggggg*

Liebe Grüsse,

Nico

[chris]

OK, das ganze Vorhaben ist in die Tonne gewandert *g*

Ich hab momentan weder Zeit noch nerv mich damit auseinanderzusetzen.....

Nico hat von mir noch ein paar Infos bekommen, falls er sich selber dranmachen will ne bessere Suche einzubauen... *g*