Beste Möglichkeit, das Dateisystem und den Index zu durchsuchen ⇐ Java

[Guest]

Ich arbeite an einem Projekt, bei dem ich mehr als 10 TB Daten durchsuchen und indizieren muss. Ich muss inkrementelles Crawling implementieren, das weniger Zeit in Anspruch nimmt.

Meine Frage ist:
Welches ist das am besten geeignete Tool, das alle großen Organisationen dafür verwenden? mit Java?

Ich habe es mit Solr und Manifold CF ausprobiert, aber für Manifold gibt es nur sehr wenig Dokumentation im Internet.