Verbesserung der KI-Funktionen: Google Cloud integriert die Vektorsuche in verwaltete Datenbanken

InfoQ-Startseite News Verbesserung der KI-Fähigkeiten: Google Cloud integriert Vektorsuche in verwaltete Datenbanken

09. Juli 2023 2 Minuten Lesezeit

von

Renato Losio

Google Cloud hat kürzlich Unterstützung für den pgvector in Cloud SQL für PostgreSQL und AlloyDB für PostgreSQL hinzugefügt. Die Erweiterung bringt Vektorsuchoperationen in die verwalteten Datenbanken und ermöglicht es Entwicklern, von großen Sprachmodellen (LLMs) generierte Vektoreinbettungen zu speichern und Ähnlichkeitssuchen durchzuführen.

Cloud SQL und AlloyDB können jetzt mit generativen KI-Diensten auf Vertex AI gekoppelt werden und helfen so, KI-fähige Anwendungen zu erstellen, die den Anwendungs- und Benutzerstatus kennen. Sandhya Ghai, Senior Product Manager bei Google, und Bala Narasimhan, Produktmanager bei Google, erklären:

Vektoreinbettungen sind numerische Darstellungen, die typischerweise verwendet werden, um komplexe benutzergenerierte Inhalte wie Text, Audio und Video in eine Form umzuwandeln, die leicht gespeichert, bearbeitet und indiziert werden kann. Diese Darstellungen werden durch Einbettungsmodelle generiert, sodass, wenn zwei Inhalte semantisch ähnlich sind, ihre jeweiligen Einbettungen im Einbettungsvektorraum nahe beieinander liegen. Vektoreinbettungen werden dann indiziert und zum effizienten Filtern von Daten basierend auf Ähnlichkeit verwendet.

Entwickler können beispielsweise die vorab trainierten Modelle von Vertex AI für Text und Bilder verwenden, um Einbettungen zu generieren und diese in einer Datenbank zu speichern und zu indizieren, was die Suche nach ähnlichen Datensätzen vereinfacht.

Die pgvector-Erweiterung kann jetzt mit dem Befehl CREATE EXTENSION in einer vorhandenen Datenbank installiert werden:

Quelle: https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases

Die neue Funktion kann Entwicklern auch dabei helfen, vorab trainierte LLMs zu nutzen, wie Ghai und Narasimhan erklären:

Bei LLMs ist zu beachten, dass sie kein Staatskonzept haben. (...) Einbettungen ermöglichen es Ihnen, große Kontexte wie Dokumentationen oder Langzeit-Chatverläufe in Ihrer Datenbank zu speichern und diese zu filtern, um die relevantesten Informationen zu finden. Anschließend können Sie die relevantesten Teile des Chatverlaufs oder der Dokumentation in das Modell einspeisen, um das Langzeitgedächtnis und geschäftsspezifisches Wissen zu simulieren.

Google Cloud hat ein Colab-Notebook und ein Video zum Erstellen KI-gestützter Apps mit pgvector, dem Open-Source-Framework LangChain und LLMs veröffentlicht. Saket Saurabh, leitender Softwareentwickler bei Google, zeigt, wie man generative KI-Funktionen zu einer Beispiel-Python-Anwendung hinzufügt:

Die pgvector-Erweiterung führt außerdem neue Operatoren zum Durchführen von Ähnlichkeitsübereinstimmungen für Vektoren ein, sodass Sie Vektoren finden können, die semantisch ähnlich sind. Zwei solcher Operatoren sind: „<->“: Gibt den euklidischen Abstand zwischen den beiden Vektoren zurück. (...)'<=>': gibt den Kosinusabstand zwischen den beiden Vektoren zurück.

Google Cloud ist nicht der einzige Cloud-Anbieter, der in den letzten Monaten auf Vektordatenbanken abzielt. Amazon RDS für PostgreSQL unterstützt die pgvector-Erweiterung und Microsoft zeigt, wie Azure Data Explorer (ADX) als Vektordatenbank verwendet werden kann, und diskutiert mehrere Konnektoren zu Vektordatenbanken .

Programmieren, implementieren und skalieren Sie Java nach Ihren Wünschen. Microsoft Azure unterstützt Ihre Arbeitslast mit zahlreichen Auswahlmöglichkeiten, unabhängig davon, ob Sie an einer Java-App, einem App-Server oder einem Framework arbeiten. Erfahren Sie mehr.

Das Schreiben für InfoQ hat viele Türen geöffnet und die Karrierechancen erhöht Für mich. Ich konnte mich intensiv mit Experten und Vordenkern austauschen, um mehr über die von mir behandelten Themen zu erfahren. Und ich kann meine Erkenntnisse auch an die breitere Tech-Community weitergeben und verstehen, wie die Technologien in der realen Welt eingesetzt werden.

Ich habe das Mitwirkendenprogramm von InfoQ Anfang dieses Jahres entdeckt und es seitdem genossen! Das Peer-to-Peer-Review-System von InfoQ bietet mir nicht nur eine Plattform, auf der ich meine Erkenntnisse mit einer globalen Community von Softwareentwicklern teilen kann, sondern hat auch mein Schreiben erheblich verbessert . Wenn Sie nach einem Ort suchen, an dem Sie Ihr Software-Know-how teilen können, beginnen Sie mit der Mitarbeit bei InfoQ.

Ich habe angefangen, Nachrichten für die InfoQ .NET-Warteschlange zu schreiben, um auf dem neuesten Stand der Technik zu bleiben, aber ich habe so viel mehr daraus gemacht. Ich habe sachkundige Leute kennengelernt, weltweite Sichtbarkeit erlangt und meine Schreibfähigkeiten verbessert.

Redakteur für InfoQ zu werden war eine der besten Entscheidungen meiner Karriere . Es hat mich herausgefordert und mir in vielerlei Hinsicht geholfen, zu wachsen . Wir würden uns über mehr Leute freuentrete unserem Team bei.

InfoQ sucht einen Chefredakteur in Vollzeit dem internationalen, stets remote arbeitenden Team von C4Media beizutreten. Entdecken Sie mit uns die innovativsten Technologien unserer Zeit, arbeiten Sie mit den besten Software-Experten der Welt zusammen und helfen Sie mehr als 1,6 Millionen Entwicklerteams bei der Einführung neuer Technologien und Praktiken, die die Grenzen dessen erweitern, was Software und Teams leisten können!

Jeden Dienstag wird eine Zusammenfassung der Inhalte der letzten Woche auf InfoQ verschickt. Treten Sie einer Community von über 250.000 erfahrenen Entwicklern bei. Sehen Sie sich ein Beispiel an

Wir schützen Ihre Privatsphäre.

Sie müssen ein InfoQ-Konto registrieren oder sich anmelden oder anmelden, um Kommentare zu posten. Aber hinter der Registrierung steckt noch viel mehr.

Holen Sie das Beste aus dem InfoQ-Erlebnis heraus.

Zulässiges HTML: a,b,br,blockquote,i,li,pre,u,ul,p

Zulässiges HTML: a,b,br,blockquote,i,li,pre,u,ul,p

Zulässiges HTML: a,b,br,blockquote,i,li,pre,u,ul,p