Spaß mit MySQL Stopwords

Chefkoch — Thu, 08 Nov 2007 22:19:18 +0000

Gleich noch ein Problem hinterher, das auch im Zuge des Umzugs eines Projekts von MySQL 4 auf 5 aufgetreten ist: ich wollte mit einer Volltext-Suche nach einem oder mehreren Worten in einer Liste aus Worten arbeiten. In manchen Fällen enthielt die Suchwort-Liste den Begriff "help". In diesem besonderen Fall, kamen ganz ungewöhnliche Ergebnisse zustande und bestimmt Einträge wurden nicht selektiert, die aber eigentlich gefunden werden sollten. Auf dem alten MySQL4-Server funktionierte die Suche problemlos. Was war los?

Es gibt für Volltextsuchen eine Stopwords-Liste, die in der MySQL-Installation einkompiliert ist. Diese Liste enthält etliche Worte, die häufig in der Sprache vorkommen. So z.B. "an", "and", "any", "all" ... usw. und eben auch besagtes "help".

Um nun nicht MySQL neu kompilieren zu müssen, kann man auch eine externe Wortliste per Konfigurationsanweisung ft_stopword_file angeben. Also schnell eine externe Wortliste besorgen (z.B. hier), anpassen (z.B. das "help" entfernen) und eine Zeile in die /etc/mysql/my.cnf eintragen:

ft_stopword_file = /etc/mysql/common_words

Und den MySQL-Server neustarten. Anschließend sollten auch Volltext-Suchen nach "help" funktionieren. Also z.B. derartiges:

PLAIN TEXT

SQL:

SELECT * FROM articles WHERE MATCH (tags) AGAINST ('+help +health' IN BOOLEAN MODE);

(Finde alle Einträge in der Tabelle "articles" bei denen im Feld tags sowohl "help" als auch "health" vorkommt)

Ob das Verwenden einer externen Stopwords-Datei anstatt der einkompilierten Liste sich signifikant nachteilig auf die MySQL-Perfomance auswirkt habe ich noch nicht überprüft oder rausgesucht. Sachdienliche Hinweise dazu nehme ich gern in den Kommentaren entgegen.

MySQL Fulltext Search Minimum Word Length

Chefkoch — Wed, 07 Nov 2007 22:20:36 +0000

Beim Switch eines Projekts von MySQL4 auf MySQL5 ist es mir vor kurzem passiert, dass die Suche nicht mehr zufriedenstellend funktionierte: Beiträge, die eigentlich selektiert werden sollten, kamen einfach nicht mehr zu vorschein. Dort gab es also soetwas wie:

SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);

Eine Fehlersuche von mehr als einer halben Stunde brachte dann zutage, dass es sich um die minimale Länge der bei Fulltext-Anfragen verwendeten Suchworte handeln könnte, wie auch in der Dokumentation zu lesen ist:

The minimum and maximum word length full-text parameters apply.

Ein Blick auf "MySQL-System-Variablen anzeigen" im phpMyAdmin zeigte auch tatsächlich an, dass dort 4 für den entsprechenden Parameter eingestellt war:

ft min word len 4

Und im Forum findet sich die Lösung:

SET GLOBAL ft_min_word_len=3; should do the trick. You need SUPER privilege.

Note: FULLTEXT indexes must be rebuilt after changing this variable. Use REPAIR TABLE tbl_name QUICK.

Die Änderung möchte ich aber für den gesamten MySQL-Server verfügbar haben, und nicht nur zur Laufzeit. Also schnell als root folgendes in die /etc/mysql/my.cnf hinzugefügt:

ft_min_word_len = 3

und dann noch den MySQL-Server neu starten:

/etc/init.d/mysql restart

Nicht vergessen sollte man natürlich auch das

REPAIR TABLE table_name QUICK;

damit der Index auch neu generiert wird. Und nun funktioniert auch die Suche wieder so wie vorher, auch bei 3-buchstabigen Suchworten...

PHPKuh.de » Datenbank

Spaß mit MySQL Stopwords

MySQL Fulltext Search Minimum Word Length