Kiderül, hogy melyik nyelvi chatbot érti a legjobban
A kevésbé formális nyelv, ha egy AI chatbot -szal kommunikál, csökkenti a válaszok pontosságát. Ez azt jelenti, hogy a felhasználóknak szigorúbbnak kell lenniük a nyelv szempontjából, vagy a mesterséges intelligenciának meg kell tanulnia, hogy jobban alkalmazkodjon az emberi beszédhez.
Az Amazon Science kutatói összehasonlították az emberi beszélgetéseket az élő operátorokkal és a nagy nyelvi modellezés (LLM) alapú chatbot -tal. A Claude 3.5 szonett alkalmazásával végzett elemzés eredményeit a Prague-i e-kereskedelem innovatív mesterséges intelligenciájának innovatív mesterséges intelligenciájáról mutatták be.
Mindenki másképp beszél az AI -vel
Kiderül, hogy amikor a chatbotokkal való interakciót folytatnak, a felhasználók kevésbé grammatikailag pontosak és kevésbé udvariasak, mint amikor az emberekkel foglalkoznak. Kissé keskenyebb szókincset is használnak.
Claude becslése szerint az emberi interakciók 14,5% -kal udvariasabbak és formálisabbak, mint a chatbot beszélgetések, 5,3% -kal folyékonyabbak és 1,4% -kal több a szókincs.
„A felhasználók az LLM -mel folytatott beszélgetések során beállítják nyelvi stílusukat, kedvezőbbek, közvetlenebbek, kevésbé formálisabbak és nyelvtanilag egyszerűbbek. Ezt a viselkedést befolyásolhatják a felhasználók mentális modelljei, amelyek a chatbotokat kevésbé érzékenynek tekintik a kommunikáció társadalmi szempontjaira, vagy kevésbé képesek értelmezni az árnyalatokat” – fejezte be a kutatók.
De kiderül, hogy ennek az informalitásnak is van hátránya. A második kísérletben a kutatók 13 000 valódi emberi beszélgetésen kiképezték a Mistral 7B modellt, és a Chatbotnak küldött 1357 valódi üzenet értelmezésére használták. Mindkét adatkészlet minden beszélgetését korlátozott listából „szándékkal” címkézik, meghatározva, hogy a felhasználó mit akar tenni egy adott példányban. Mivel azonban a Mistral -t az emberi beszélgetésekről képzették, nehéz pontosan meghatározni a szándékot a chatbot beszélgetésekben.
Arra törekszenek, hogy javítsák a kölcsönös megértést
A kutatók sokféle stratégiát kipróbáltak a modell megértésének javítása érdekében. Először Claude segítségével fordították le a felhasználók rövid üzeneteit az ember-szerű prózába, és a Mistral képzésére használták őket. Ez 1,9% -kal csökkentette szándékának pontosságát a szokásos válaszához képest.
Aztán behozták a „Claude-t”, hogy „minimálisan” átalakítsák a vonalakat olyan keresési kérdésekké, mint a „Párizs a következő hónapban”. Repülési jegyek és szállodák? ”, De ez 2,6%-kal csökkentette a Mistral pontosságát. Egy alternatív,„ gazdag ”átdolgozás formálisabb és változatosabb nyelvű, a pontosság 1,8%-os csökkenését is eredményezte. Csak a minimális feldolgozás és a gazdag feldolgozás képzése 2,9%-kal megnövekedett termelékenységet.
Noah Giansiracusa, a Massachusetts -i Bentley Egyetem matematikus nem meglepődve, hogy az emberek másképp beszélnek a robotokkal, mint az emberekkel, de nem feltétlenül gondolja, hogy ezt meg kell javítani.
„Csábító gondolkodni azon a tényen, hogy az emberek másképp lépnek kapcsolatba a chatbotokkal, mint más emberekkel, mint a chatbotok hibája – de azt állítom, hogy nem ez a helyzet, hogy jó az emberek, ha tudják, hogy egy botnal beszélnek, és ennek megfelelően módosítom.