Extension talk:FileIndexer

Please, can yo tell me the exakt position, where to insert your script in "specialUpload.php". I use the wiki in local domain.

thanks casio

[edit] Unique Words

Perhaps for efficiency, it might be worth using a script to attach unique words only to the Wiki as opposed to the file contents. I might give it a go once I learn how.

I had taken a crack at this. here is an example of my hack for PDF's. Should work with other formats:

.
.
$toexec = "/usr/local/bin/pdftotext " . $this->mSavedFile . " - | tr -d ',\"<>/()\:\?\;1234567890!@#$%^&*{}[]+' | tr ' ' ' \n' | sort | uniq -i";
.
.

Works in my 1.8.2.

[edit] Catdoc

I performed the catdoc 0.94 installation, and my found the xls & ppt executables in /usr/local/bin rather than the /usr/bin as shown above (The pdf and word files installed as shown above for me.) --Erik Heidt, 31 July 2005

[edit] large files

Regarding MySQL error "1153: Got a packet bigger than 'max_allowed_packet' bytes"

In using the above patch to upload large PDFs , I encountered the MYSQL error 1153. This error results when you attempt to execute a SQL statement against mySQL which is larger than the system set default. ( For more information see the error explanation on the mySQL website -> MySql Packet-too-large page )

Rather than increase the size of allowable packets, I decided to truncate the text which is returned in $NewDesc to a value large enough that I "probably" get a sample of text for good searches, but small enough that I don't (1) get this error or (2) commit tons of db storage to a single files index text.

After some research I set the value at 512K of text, here is the code I inserted into the MHart patch from above:

foreach ($DocText as $DocLine) {
      $NewDesc .= "\r\n" . str_replace("-->","",$DocLine);
    }<b>
 
    # eth: check to see if NewDesc is very large, and truncate it if it is...                       
    $tooLarge = 524828; # 512K                                                                      
    if (strlen($NewDesc)>$tooLarge)
          $NewDesc = substr($NewDesc,0,$tooLarge);
    # eth: end of the large summary change.
 
    $NewDesc .= "\r\n" . " -->";

[edit] MW 1.9.3 Problem

I have encountered a problem using this extension with MediaWiki 1.9.3 -> no description was sent to SpecialUpload.php and description field was empty. This was resolved by removing "\r\n" when sending it to $NewDesc

$NewDesc .= " " . str_replace("-->","",$DocLine);
...
$NewDesc .= " " . " -->";

--Erik Heidt, 1 September 2005

<?php
/**
 * Extension: FileIndexer
 *
 * REVISION-AUTHOR: Ramon Dohle aka 'raZe'
 * VERSION: 0.1.3
 *
 * Diese Erweiterung basiert auf der Wiki-Erweiterung 'FileIndexer' vom Stand 15.05.2008.
 * Wie sein Vorgaenger soll sie Dateien Indezierbar machen.
 * Entwickelt wurde diese Version der Erweiterung unter MediaWiki 1.12.0
 * 
 * AENDERUNGEN ZUM ORIGINAL:
 * - Erwartetes Verzeichnis fuer Filterprogramme: /usr/local/bin/
 * - $wgFileIndexerPrefix und $wgFileIndexerPostfix umgeben den erzeugten Index.
 *      Ich habe die Erfahrung gemacht, dass die Lucene-Search-Engine Kommentare (invisible) nicht im Index speichert.
 *      Daher habe ich die Moeglichkeit vorgesehen diesen in einer eigenen Sektion ohne Kommentar zu hinterlegen.
 * - Der Text wird nicht mehr komplett, sondern nur noch die gefundenen Worte *jeweils ein mal* in Kleinbuchstaben (ohne reine Zahlenwerte) hinterlegt.
 * - Der Index wird nicht mehr unnoetigerweise zusaetzlich im Kommentar zum Upload abgelegt.
 * - Bei erneut hochgeladenen Dateien wird der hinterlegte Index nun aktualisiert
 * - Dateien aus denen Tags entfernt wurden, sollten Worte verschiedener Felder nun nicht mehr zsuammenfallen.
 * - WICHTIG: Index wird nur erstellt, wenn dies im Upload-Kommentar durch Gebrauch des Zeichens 'FI::MakeIndex' bestimmt wird!
 *      TODO: Hier werde ich vielleicht noch mal ansetzen und eine Checkbox zu diesem Zweck erstellen.
 * - $wgFileIndexerMinWordLen bestimmt die minimale Wordlaenge der Indexworte (voreingestellt 3 Zeichen).
 *
 * TODO:
 * - Das Kommando 'FI::MakeIndex' durch eine Checkbox im Uploadformular ersetzen
 * - Index über Warnungen nach dem Uploadformular hinweg transportieren
 *
 * BEKANNTE SCHWAECHEN:
 * - pdftotext liefert keine Minuszeichen "-" zurueck. Dadurch fallen manche Worte leider zusammen.
 */
 
 
$wgHooks['UploadForm:BeforeProcessing'][] = 'ScanFileForIndex';
$wgHooks['ArticleSave'][] = 'gmArticleSaveFileIndexer';
$wgHooks['UploadComplete'][] = 'gmUploadCompleteFileIndexer';
 
//Testing if these commands are available
if($wgFileIndexerDebug==true)
{
        isCommandPresent("/usr/local/bin/pdftotext");
        isCommandPresent("/usr/local/bin/iconv");
        isCommandPresent("/usr/local/bin/antiword");
        isCommandPresent("/usr/local/bin/xls2csv");
        isCommandPresent("/usr/local/bin/catppt");
        isCommandPresent("/usr/local/bin/strings");
}
 
$gm_NewFileIndex = false;
 
/**
 * Diese Hook-Funktion wird nach dem erfolgreichen Upload einer Datei aufgerufen 
 * und stoesst den Update des zur Datei gehoerigen Artikels an, sollte ein zu aktualisierender
 * Index-Sektions-Inhalt erstellt worden sein.
 */
function gmUploadCompleteFileIndexer(&$image){
        if($gm_NewFileIndex !== false){
                $article = new Article( $image->mLocalFile->getTitle() );
                $article->loadContent();
                $article->doEdit($article->mContent, "gmFileIndexer: Datei hochgeladen.\n");
        }
 
        return true;
}
 
/**
 * Diese Hook-Funktion aktualisiert die Index-Sektion, sollte es sich um einen FileUpload handeln
 * und ein neuer Inhalt fuer diese Sektion vorbereitet worden sein.
 * In jedem Fall wird die global abgelegte Index-Sektions-Inhalts-Variable wieder geleert.
 */
function gmArticleSaveFileIndexer(&$article, &$user, &$text, &$summary, $minor, $watch, $sectionanchor, &$flags){
 
        global $gm_NewFileIndex, $wgFileIndexerPrefix, $wgFileIndexerPostfix;
 
        if($gm_NewFileIndex !== false){
                // Neuen Index setzen ...
 
                // Suchen und ersetzen des Datei-Indexbereiches
                $sOldDescription = $text;
                $text = "";
 
                // Nach $wgFileIndexerPrefix und Postfix suchen und alten Text davor uebertragen...
                $iPostFileIndexPos = false;
                $iFileIndexPos = strpos($sOldDescription, $wgFileIndexerPrefix);
                if($iFileIndexPos === false){
                        // Kompletten Inhalt vor neuen Index packen, weil vorher anscheinend kein Index existierte...
                        $text = substr($sOldDescription, 0);
                }
                else{
                        // Alles vor altem Index schon mal in den neuen Inhalt packen...
                        $text = substr($sOldDescription, 0, $iFileIndexPos);
 
                        // Nur wenn auch ein Prefix gefunden wurde, wird nach einen Postfix gesucht...
                        $iPostFileIndexPos = strpos($sOldDescription, $wgFileIndexerPostfix, $iFileIndexPos);
                }
 
                // Index selbst anfuegen... (beim ersten erzeugen wird darauf geachtet, dass dieser in einer neuen Zeile beginnt)
                if($iPostFileIndexPos === false && (substr($text, strlen($text) - 1, 1) != "\n")){
                        $text .= "\n";
                } 
                $text .= $gm_NewFileIndex;
 
                // Restliche Beschreibung wieder anfuegen...
                if($iPostFileIndexPos !== false){
                        $text .= substr($sOldDescription, $iPostFileIndexPos + strlen($wgFileIndexerPostfix));
                }
 
                // In der Summary vermerken, dass hier ein neuer Index eingefuegt wurde...
                $summary .= ((substr($summary, strlen($summary) - 1, 1) == "\n") ? "" : "\n") . "gmFileIndexer: Neuer Index erstellt.\n";
        }
 
        // Index wieder entfernen ...
        $gm_NewFileIndex = false;
 
        return true;
}
 
/**
 * Sucht im Kommentar nach dem Zeichen zur Indexerzeugung und erstellt unter Einsatz externer Programme den Index. Dieser wird zunaechst
 * in einer globalen Variable abgelegt um spaeter von anderen Funktionen verarbeitet zu werden.
 */ 
function ScanFileForIndex(&$uploadFormObj) 
{
        global $gm_NewFileIndex, $wgFileIndexerPrefix, $wgFileIndexerPostfix, $wgFileIndexerMinWordLen;
 
        $wgFileIndexerMinWordLen = ($wgFileIndexerMinWordLen > 0) ? $wgFileIndexerMinWordLen : 3;
 
        $SIGN_CREATE_INDEX = "FI::MakeIndex";
 
        // Im Kommentar zum Upload wird geschaut, ob der Index erzeugt werden soll. Wenn ja, dann entferne das Zeichen aus dem Kommentar. Ansonsten gehe ohne getane Arbeit raus.
        $iSignCreateIndexPos = strpos($uploadFormObj->mComment, $SIGN_CREATE_INDEX); 
        if($iSignCreateIndexPos === false){
                return true;
        }
        else{
                $uploadFormObj->mComment = substr($uploadFormObj->mComment, 0, $iSignCreateIndexPos) . substr($uploadFormObj->mComment, $iSignCreateIndexPos + strlen($SIGN_CREATE_INDEX));
        }
 
        $NewDesc = '';
        $RemoveTags = false;  //remove HTML-Tags created during conversion?
 
        $extension = substr(strrchr($uploadFormObj->mDesiredDestName, '.'),1); //extract the extension of the destination filename
 
        switch(strtolower($extension)) //methods for text extraction 
        {
                case "pdf": 
                {                 
                        //using XPDF and iconv for conversion purposes
                        $toexec = "/usr/local/bin/pdftotext -raw -nopgbrk " . $uploadFormObj->mTempPath . " -";
                        $toexec.="| /usr/local/bin/iconv -f ISO-8859-1 -t UTF-8";
                        break;
                }
 
                case "dot": {}
                case "doc": 
                {
                        //using antiword
                        $toexec = "/usr/local/bin/antiword -s ".$uploadFormObj->mTempPath;
                        break;
                }
 
                case "xls":
                {
                        $toexec = "/usr/local/bin/xls2csv ".$uploadFormObj->mTempPath;
                        break;
                }
 
                case "ppt":
                {
                        $toexec = "/usr/local/bin/catppt ".$uploadFormObj->mTempPath; 
                        break;
                }
 
                case "rtf": # any file extension with text in it will be okay here
                {
                        $toexec = "/usr/local/bin/strings ".$uploadFormObj->mTempPath; # string's output isn't neat, but it works.
                        break;
                }
 
                //OpenOffice.org documents
                case "ods": {}
                case "odp": {}
                case "odg": {}
                case "odt":
                {
                        $toexec = "unzip -p " . $uploadFormObj->mTempPath . " content.xml";
                        $RemoveTags = true;
                        break;
                }
        }
        if ($toexec != "")
        {
                exec($toexec, $DocText);
 
                $gm_NewFileIndex = $wgFileIndexerPrefix;
 
                $aIndex = array();
 
                foreach ($DocText as $DocLine) 
                {
                        if($RemoveTags)
                        {
                                // Tags entfernen... Vorher vor jedem "<" Leerzeichen einfuegen, damit keine Worte zusammenfallen!
                                $DocLine = strip_tags(str_replace("<", " <", $DocLine));
                        }
 
                        // Sonderzeichen entfernen...
                        // ATTENTION: German only! Umlaute werden durch strtolower nicht in Kleinbuchstaben gewandelt...
                        $DocLine = strtolower(ereg_replace("[[:punct:]][[:space:]]|[[:space:]][[:punct:]]|[[:punct:]][[:punct:]]", " ", ereg_replace("Ä", "ä", ereg_replace("Ö", "ö", ereg_replace("Ü", "ü", $DocLine)))));
 
                        // Worte filtern und in Index packen...
                        $aSplit = split(" ", $DocLine);
                        foreach($aSplit as $sWord){
                                if($sWord != "" && !is_numeric($sWord) && strlen($sWord) >= $wgFileIndexerMinWordLen){
                                        $aIndex[$sWord] = true;
                                }
                        }
                }
 
                // Index global setzen...
                foreach(array_keys($aIndex) as $skeyword){
                        $gm_NewFileIndex .= $skeyword . " ";
                }
 
                $gm_NewFileIndex .= $wgFileIndexerPostfix;
 
        }
        return true;
}
 
function isCommandPresent($command)
{
        if(file_exists($command)==false)
        {
                //extract the command from the path
                $lastSlash = strrpos($command, '/');
                if($lastSlash!='')
                {
                        $commandWithoutSlashes = substr($command, $lastSlash+1);
                }
                else
                {
                        $commandWithoutSlashes = $command;
                }
 
                $toexec = "whereis $commandWithoutSlashes";
                //lookup the command
                exec($toexec, $whereis);
                echo "FileIndexer: The file $command is missing ... whereis result: $whereis[0] <br>";
        }
}
 
/**
  * Add extension information to Special:Version
 */
$wgExtensionCredits['other'][] = array(
        'name' => 'FileIndexer',
        'version' => '0.1.3',
        'author' => 'Ramon Dohle (raZe) | Original: MHart and Flominator',
        'description' => 'Index-Erzeugung aus hochgeladenen Dateien zur Erfassung durch Suchfunktionen',
        'url' => 'http://www.mediawiki.org/wiki/Extension:FileIndexer'
        );