Montag, ein Entwickler, der das Volk nutzt Ai Code Editor Cursor Ich bemerkte etwas Seltsames: Die Änderung zwischen Maschinen hat sie sofort aufgenommen und einen gemeinsamen Workflow für Programmierer gebrochen, die mehrere Geräte verwenden. Als der Benutzer den Cursor -Support kontaktierte, teilte ihm ein Agent namens “Sam” mit, dass das Verhalten im Rahmen einer neuen Richtlinie erwartet wurde. Aber es gab keine solche Politik und Sam war ein Bot. Das KI -Modell erstellte die Richtlinie und führte zu einer Welle von Beschwerden und Stornierungen, die dokumentiert sind Hacker News Und Reddit.
Dies markiert die letzte Instanz von KI Konfabulationen (Auch genannt “Halluzinationen”) verursachen potenzielle kommerzielle Schäden. Konfabulationen sind eine Art von “kreativen Lückenfüllung” -Reaktion, bei der IA -Modelle plausible, aber falsche Klanginformationen erfinden. Anstatt Unsicherheit zuzugeben, priorisieren KI -Modelle häufig die Schaffung plausibler und sicherer Antworten, auch wenn dies die Herstellungsinformationen von Grund auf neu produzieren.
Für Unternehmen, die diese Systeme in kundenorientierten Rollen ohne menschliche Aufsicht implementieren, können die Konsequenzen unmittelbar und teuer sein: frustrierte Kunden, beschädigte Vertrauen und im Falle eines Cursors potenziell stornierte Abonnements.
Wie es sich entwickelte
Der Vorfall begann, als ein Reddit -Benutzer namens Broknto -Astroven bemerkt Beim Austausch eines Desktops, eines Laptops und eines Remote -Entwicklungsboxs endeten die Cursorsitzungen unerwartet.
“Suchen Sie die Sitzung im Cursor in einer Ungültigmachungsmaschine sofort in der Sitzung in einer anderen Maschine” dann eliminiert von R/Cursor -Moderatoren. “Dies ist eine signifikante Regression von UX.”
Verwirrt und frustriert schrieb der Benutzer eine E -Mail für den Cursorunterstützung und erhielt schnell eine SAM -Antwort: “Der Cursor ist so konzipiert, dass er mit einem Abonnementgerät als zentrale Sicherheitsfunktion betrieben wird”, lesen Sie die E -Mail -Antwort. Die Antwort klang definitiv und offiziell, und der Benutzer vermutete nicht, dass Sam nicht menschlich war.
Nach der ersten Veröffentlichung von Reddit nahmen die Benutzer die Veröffentlichung als offizielle Bestätigung einer realen Richtlinienänderung, die die wesentlichen Gewohnheiten für die täglichen Routinen vieler Programmierer gebrochen hat. “Mehrere Geräte -Workflows sind Tabellenwetten für Entwickler”, schrieb ein Benutzer.
Kurz darauf kündigten mehrere Nutzer ihre Reddit -Abonnement -Stornierungen öffentlich an, wobei die nicht existierende Richtlinie als Grund anführte. “Ich habe mein U -Boot buchstäblich abgesagt”, schrieb das ursprüngliche Reddit -Poster und fügte hinzu, dass sein Arbeitsplatz jetzt “völlig reinig” sei. Andere schlossen sich an: “Ja, ich stöhne auch, das ist unauffällig.” Kurz darauf blockierten die Moderatoren den Reddit -Thread und eliminierten den ursprünglichen Beitrag.
“Hey! Wir haben diese Politik nicht”, schrieb Ein Vertreter des Cursors in einer Reddit -Antwort drei Stunden später. “Natürlich ist es kostenlos, den Cursor auf mehreren Maschinen zu verwenden. Leider ist dies eine falsche Antwort eines ersten Bots der ersten -line -Support.”
Die Verschwörung von KI als kommerzielles Risiko
Das Cursor -Debakel erinnert sich an a Ähnliche Folge Im Februar 2024, als Air Canada angewiesen wurde, eine von einem eigene Chatbot erfundene Rückerstattungsrichtlinie zu ehren. Bei diesem Vorfall kontaktierte Jake Moffatt nach dem Tod seiner Großmutter die Unterstützung von Air Canada, und der AI -Agent der Fluggesellschaft sagte ihm fälschlicherweise, dass er einen Flug zu regelmäßigen Preisen reservieren und rückwirkend die Trauerpreise anfordern könne. Als Air Canada dann seinen Rückerstattungsantrag bestritt, argumentierte das Unternehmen, dass “Chatbot eine separate juristische Person ist, die für seine eigenen Handlungen verantwortlich ist”. Ein kanadisches Gericht lehnte diese Verteidigung ab und entschied, dass Unternehmen für die von ihren KI -Tools bereitgestellten Informationen verantwortlich sind.
Anstatt die Verantwortung zu bestreiten, wie es Air Canada getan hatte, erkannte Cursor den Fehler an und ergriff Maßnahmen, um Frieden zu schließen. Der CO -Färter des Cursors Michael Tuelll später entschuldigte sich in Hacker News Für die Verwirrung über die nicht -existierende Richtlinie wurde erklärt, dass dem Benutzer erstattet worden war und dass das Problem aus einer Änderung des Backends zur Verbesserung der Sicherheit der Sitzung resultierte, die für einige Benutzer unfreiwillig Probleme der Invalidierung der Sitzung verursachte.
“Jede für den E -Mail -Support verwendete KI -Antwort ist jetzt eindeutig als solche bezeichnet”, fügte er hinzu. “Wir verwenden AI -unterstützte Antworten als erster Filter für den E -Mail -Support.”
Trotzdem stellte der Vorfall anhaltende Fragen zur Verbreitung unter den Benutzern auf, da viele Menschen, die mit Sam interagieren, anscheinend glaubten, er sei ein Mensch. “LLMs geben vor, Menschen zu sein (Sie haben es Sam genannt!) Und ist eindeutig als solches als irreführend bezeichnet“, ein Benutzer, ein Benutzer Schrieb in Hacker News.
Während Cursor den technischen Fehler löste, zeigt die Episode die Risiken der Implementierung von KI -Modellen in clientorientierten Rollen ohne geeignete Schutzmaßnahmen und Transparenz. Für ein Unternehmen, das künstliche Intelligenzproduktivität an Tools an Entwickler verkauft, erfindet die Erfindung ihres eigenen KI -Support -Systems eine Richtlinie, die seine Hauptnutzer entfremdet, eine besonders unangenehme, selbstverletzte Wunde.
“Es gibt eine gewisse Ironie, dass die Leute versuchen, zu sagen, dass Halluzinationen kein großes Problem mehr sind”, ein Benutzer Schrieb in Hacker News“Und dann wird ein Unternehmen, das von dieser Erzählung profitieren würde, direkt verletzt.”
Diese Geschichte erschien ursprünglich in ARS Technica.