Regarding AI Usage on VRChat

English Version

「日本語版はこちら」

We’ve heard your feedback. We agree this is an important problem. We’ve been intensely debating a path forward, but here’s a summary of where we are:

* We are immediately updating our Creator Guidelines to prevent the use of AI-generated, inaccurate thumbnails. Deception has no place in VRChat.

* AI use in VRChat creation is a complex issue. We want to better understand your thoughts on this. Please share them with us using this form. It will be open for the next 7 days and will close afterward.

* Discoverability is a major problem in VRChat, which means people aren’t seeing the content they want to see, and talented creators are having a tough time getting eyes on their hard work. In the coming weeks, we intend to ship a handful of discoverability experiments. We will update you on our progress (and future plans) in 6 weeks.

VRChat prides itself on freedom of expression, boundless human creativity, and human connection. When it comes to AI, we find ourselves at an uncomfortable crossroads: on one hand, AI can help accelerate development and ease technical burden, while on the other, it can generate endless streams of low-quality, low-effort content that erodes human connection.

Authentic, real human connection and creativity are both essential, especially on the modern internet, where half the time it can feel like you’re arguing with a bot.

We would be lying if we said we had the answer.

We’re going to get into the weeds here, but before we do, we wanted to let you know what we’re immediately doing. Alongside this post, we have published updates to our Creator Guidelines to prevent the use of AI-generated, inaccurate thumbnails on our service. This doesn’t just affect AI-generated thumbnails, though. We think this was an issue before AI use became more mainstream, so we want to make sure we’re covering all of our bases.

The Debate Over AI Usage in VRChat Creation: Where We Stand

We know you’re going to be wondering what else we’re doing, or thinking about doing, but for that, we can’t answer in just a paragraph.

AI usage is a complex topic, especially when you consider the community we’ve all built over the past decade and more.

Our own team is still debating it. Some of us use AI to automate parts of our work or fill gaps in our knowledge while others have deep concerns about it. We’ve gotten it wrong, too: AI placeholder art meant only for layout recently made it onto a live landing page. We fixed it quickly and made changes to prevent it from happening again, but we understand it cost us trust.

This technology changes faster than anything we’ve had to adapt to. Today’s impressive model is outclassed within weeks, and keeping up is hard for a company our size. That’s why we’re being deliberate. We’d rather make decisions we can stand behind than ones we have to walk back.

Gauging How Our Community Views AI

We’ve watched our community debate these problems as well.

What labels, if any, do we use? What do those labels mean? Can you detect AI usage? Can you trust authors to label their own content? What if they get harassed for following the rules? Can you trust people to accurately report mistagged worlds? How do you validate a report? How do you label this content responsibly?

Over the past few weeks, we’ve been intensely debating and researching these questions, as well as reading your feedback so far.

(Yes, including the elephant you left on our Feedback boards. It can take us a while to formulate an answer to an issue this complex, so we hope you understand the delay. We would rather arrive late with care than move recklessly.)

Pulling all of this together, we’ve made a chart to highlight our thoughts and show where we need your help to fill in the blanks:

We’re confident in the left side, but the far right end of the spectrum brings more uncertainty.

The Difference Between Quality and “Slop”

The first challenge is the quality bar. Today, quickly generated “slop” content can be easy to spot, but that’s getting harder by the day. Likewise, it’s already possible for a world creator to include a few generative assets without anyone even knowing that they did so.

As models improve, it will become harder to tell whether AI was used in the creative process. However, it will remain clear if care, effort, and time were invested in a particular work. We believe that quality will continue to remain the differentiating factor going forward, regardless of how AI is used.

AI is Exacerbating VRChat’s Discoverability Problem

The second challenge is discoverability.

World discoverability in VRChat has been a problem long before AI showed up. Asset-pack reuploads with tiny tweaks and low-effort worlds have often made it hard for great work to get found… but AI makes it possible to publish far more worlds, far faster.

That means the worlds you’d love to see get buried even deeper. It also means that creators who sometimes spend months, or even years, on their worlds then struggle to get them in front of people.

Okay, So What is VRChat Doing About AI?

Here’s what we can say right now:

  1. Clickbait, low-quality content that generates interest based on deception will not be tolerated. Alongside this post, we have published updates to our Creator Guidelines to prevent misleading or inaccurate thumbnails from being used on our service, whether AI-generated or not. We will be updating our SDK as soon as we can to remind content authors of the rules. AI usage is a significant dimension of the problem, but even without AI, we find that creators promote their worlds in ways that don’t accurately reflect the user experience.
  2. World and Avatar discovery systems will reflect quality. We will update world discovery to reward high-quality worlds that users find valuable. With the sheer volume of content we have, doing a good job of rewarding quality while downranking slop will require significant testing and iteration.
  3. You will be able to provide feedback on Worlds (and more) within VRChat. We’re planning a way to provide simple content feedback within VRChat. This will start out basic, with limited coverage, but will grow and improve over time. We hope that even the very first, limited version will help people tell creators what they like and don’t like.
  4. The dialog must continue. Our platform is built by you, and we will continue to seek your input. We will continue to research the issue, we’ll keep talking to creators and users in VRChat, and we’ll continue to explore VRChat alongside you. All of this is essential to help us better understand and navigate the issues related to AI-generated content on our platform. Our hope is that within the next few months, we’ll be better positioned to share further updates. To help us continue this dialog, please fill out our survey.

Why Not Just Add a Filter / “AI Tag” System?

We are considering that option, but have decided to take more time to research and balance the tradeoffs implied by such a feature.

Labeling content with “AI” offers several benefits. Most importantly, our users could decide for themselves whether they want to engage with AI-generated experiences. Ultimately, we believe that giving users control over how they navigate VRChat is always the right decision.

However, we have a couple of concerns. First, it’s hard to draw the line for when AI usage crosses into requiring a label. Is it assistance? Coding? Texture generation? Modeling? Outside of “one-shot” world creation, we’re not entirely sure where to draw the lines.

Additionally, there are challenges with enforcing a label. We could add labels for creators to use, but only well-intentioned authors would use them. For those who mislabel, we’d have to detect and label them, and there’s no way to detect mislabeled AI-generated content at scale.

Relying on reports can’t be the only safeguard. An AI-generated thumbnail image may be relatively easy for many people to detect today, but it becomes increasingly difficult as every day passes.

We are open to the idea of labeling, but have not committed yet. If we do move in that direction, we need to take time to ensure we implement change in a way that aligns the system’s intent with its outcome. If we don’t, we might find ourselves in an impossible situation in the future.

As we explore this pathway, we’ll consult with members of the VRChat community, world creators, content creators, and others to ensure we understand everyone’s perspectives.

Building a Platform in a Rapidly Changing World Demands Adaptation, Change, and Evolution

VRChat is about freedom of expression and human connection. We’re exploring worlds right with you, and we see what you’re worried about. We hear your worries about what’s right over the next hill.

With your help, we are confident that these changes set us up to continue building the VRChat that both you and our team have loved and will continue to love for years to come.

If you’d like to provide your thoughts on what we’ve laid out here, or want to help us figure out where to draw the lines when it comes to AI content in VRChat, please take a few minutes to fill out the survey below. The insight we gather will help inform our decisions going forward.

https://vrch.at/forum-ai-feedback

Submissions will be open for the next 7 days, after which we will review and share our findings with the community.

As always, thank you for creating and sharing everything amazing in VRChat! We look forward to what you build next.


日本語版

皆さんからのフィードバックは、しっかり届いています。これは重要な問題だと、私たちも考えています。今後の進め方について徹底的に議論を重ねてきましたが、現時点での状況を以下にまとめます。

概要:

  • 実際の内容と異なるAI生成サムネイルを使用できないよう、クリエイターガイドラインを更新しました。見る人を欺くような表現は、VRChatにふさわしくありません。
  • これは複雑な問題です。AIについて皆さんがどう考えているのか、もっと深く理解したいと考えています。ぜひこちらのフォームからご意見をお寄せください (回答の受付期間は本日から7日間です。終了後、内容を確認し、結果をコミュニティの皆さんと共有します。):https://vrch.at/forum-ai-feedback
  • VRChatでは、コンテンツを発見しにくいことが大きな課題になっています。そのため、ユーザーは見たいコンテンツに出会えず、才能あるクリエイターは努力の成果をなかなか見てもらえずにいます。今後数週間のうちに、発見しやすさに関する試験的な施策をいくつか実施する予定です。進捗状況(と今後の計画)については、6週間後にお知らせします。

VRChatは、表現の自由、無限に広がる人間の創造性、そして人と人とのつながりを誇りとしています。AIについて、私たちは悩ましい岐路に立っています。AIは開発を加速させ、技術的な負担を軽くしてくれます。その一方で、手間をかけずに作られた低品質なコンテンツを際限なく生み出し、人と人とのつながりを損なうおそれもあります。
人と人との本物のつながり、そして人の手による創造性は、どちらも欠かせません。話している相手の半分はボットなのでは、と感じてしまうような今のインターネットでは、なおさらです。
正直に言えば、私たちもまだ答えを持っていません。
ここから詳しくお話ししますが、その前に、すでに実施した対応をお伝えします。本投稿にあわせてクリエイターガイドラインを更新し、実際の内容と異なるAI生成サムネイルをVRChatで使用できないようにしました。ただし、対象はAI生成のサムネイルだけではありません。この問題はAIが普及する以前から存在していたと考えているため、AIに限らず幅広いケースを対象にしています。

VRChatでの制作におけるAI利用をめぐる議論:私たちの立場

ほかにどんな対応をしているのか、あるいは検討しているのか、気になる方も多いと思います。ただ、それは一言で答えられる話ではありません。
AIの利用は複雑なテーマです。この10年以上にわたって皆さんと一緒に築いてきたコミュニティのことを考えれば、なおさらです。
私たちのチーム内でも、まだ議論が続いています。AIを使って業務の一部を自動化したり、知識の足りない部分を補ったりしているメンバーもいれば、AIに深い懸念を抱いているメンバーもいます。私たち自身にも失敗がありました。レイアウト確認のためだけに使っていたAI生成の仮画像が、先日、公開中のランディングページに載ってしまったのです。すぐに修正し、再発防止策も講じましたが、それによって皆さんの信頼を損ねてしまったことは理解しています。
この技術は、私たちがこれまで対応してきたどんなものよりも速く変化しています。今日最先端とされるモデルも、数週間後には新しいモデルに追い抜かれます。私たちのような規模の会社にとって、その変化についていくのは簡単ではありません。だからこそ、私たちは慎重に進めています。あとで撤回しなければならない決定よりも、自信を持って貫ける決定をしたいのです。

コミュニティはAIをどう見ているのか

コミュニティの皆さんがこうした問題について議論している様子も、私たちは見てきました。
タグを付けるべきか、付けるならどんなタグにするのか。そのタグは何を意味するのか。AIの使用を検出できるのか。クリエイターが自分のコンテンツに正しくタグを付けると信頼できるのか。ルールに従ったことで嫌がらせを受けたらどうするのか。誤ったタグが付いたワールドを、皆さんが正確に通報してくれると信頼できるのか。通報の正しさをどう確認するのか。このようなコンテンツに、どうすれば責任を持ってタグを付けられるのか。
この数週間、私たちはこれらの問いについて徹底的に議論・調査を重ね、これまでに寄せられたフィードバックにも目を通してきました。
(もちろん、皆さんがフィードバックボードに置いていってくれた大きな宿題も含めてです。これほど複雑な問題への回答をまとめるには時間がかかるため、お待たせしてしまったことをご理解いただければ幸いです。軽率に動くより、遅れてでも丁寧に対応したいと考えています。)
これらをすべて踏まえて、私たちの考えをまとめ、皆さんの力を借りて埋めたい部分を示した図を作成しました。

図の左側については方針が固まっていますが、右端に近づくほど判断が難しくなります。

作り込まれた作品と「AI Slop」の違い

1つ目の課題は、クオリティの基準です。現時点では、手早く生成された粗製乱造コンテンツ(いわゆる「AI Slop」)は簡単に見分けられることもありますが、それは日に日に難しくなっています。また、ワールドクリエイターがいくつかのAI生成アセットを、誰にも気づかれずに組み込むことはすでに可能です。
モデルが進化するにつれて、制作の過程でAIが使われたかどうかを見分けることは、ますます難しくなるでしょう。それでも、その作品が手間や時間をかけ、心を込めて作られたものかどうかは、はっきりと伝わり続けるはずです。AIがどのように使われているかにかかわらず、これからもクオリティこそが作品の違いを生む決め手であり続けると、私たちは考えています。

AIによって、良いワールドが埋もれる問題がさらに深刻に

2つ目の課題は、ワールドの発見しにくさです。
VRChatでワールドを発見しにくいことは、AIが登場するずっと前から課題でした。少し手を加えただけのアセットパックの再アップロードや、手間のかかっていないワールドによって、優れた作品が埋もれてしまうことは以前からありました。しかしAIによって、はるかに多くのワールドを、はるかに速く公開できるようになっています。
つまり、皆さんがきっと気に入るはずのワールドが、さらに深く埋もれてしまうということです。また、何か月、ときには何年もかけてワールドを制作するクリエイターが、作品を人々に届けるのにいっそう苦労することにもなります。

では、VRChatはAIに対して何をしているのか?

現時点でお伝えできることは以下のとおりです。

  1. 実態と異なる見せ方で関心を集める、釣り目的の低品質なコンテンツは認められません。本投稿にあわせてクリエイターガイドラインを更新し、誤解を招くサムネイルや実際の内容と異なるサムネイルを、AI生成かどうかにかかわらずVRChatで使用できないようにしました。SDKもできるだけ早く更新し、クリエイターの皆さんにルールを改めてお知らせできるようにします。AIの利用はこの問題の大きな要因ですが、AIを使っていなくても、実際の体験とかけ離れた形でワールドを宣伝するクリエイターがいることを私たちは把握しています。
  2. ワールドやアバターの発見しやすさに、クオリティを反映させていきます。ユーザーが価値を感じる高品質なワールドが評価されるよう、ワールドを見つける仕組みを改善していきます。膨大な量のコンテンツがある中で、クオリティの高いものを評価しつつ粗製乱造コンテンツの表示順位を下げるには、何度もテストと改善を重ねる必要があります。
  3. VRChat内からワールドなどにフィードバックを送れるようにしていきます。コンテンツに簡単なフィードバックを送れる仕組みを計画しています。まずは基本的な機能から始め、対象も限られますが、時間をかけて拡充・改善していきます。限定的な最初の段階でも、皆さんが気に入った点や気に入らなかった点をクリエイターに伝える助けになればと願っています。
  4. 対話を続けていきます。VRChatを形づくっているのは皆さんです。私たちはこれからも皆さんの意見を求め続けます。引き続きこの問題を調査し、VRChat内でクリエイターやユーザーの皆さんと話し、皆さんと一緒にVRChatを探索していきます。これらはすべて、プラットフォーム上のAI生成コンテンツに関する問題をより深く理解し、対応していくために欠かせません。今後数か月のうちに、続報をお伝えできるようにしたいと考えています。この対話を続けていくためにも、ぜひアンケートにご回答ください。

なぜフィルターや「AIタグ」の仕組みを追加しないのか?

その選択肢も検討はしています。ただ、そうした機能がもたらすトレードオフについて、さらに時間をかけて調査し、慎重に見極めることにしました。
コンテンツに「AI」のタグを付けることには、いくつかのメリットがあります。何より、AIで生成された体験に触れるかどうかを、ユーザー自身が決められるようになります。VRChatでの過ごし方を自分で選べるようにすることは、常に正しい方向だと私たちは考えています。
しかし、いくつか懸念もあります。まず、どの程度のAI利用からタグが必要になるのか、線引きが難しいという点です。補助程度ならどうか。コーディングは? テクスチャ生成は? モデリングは? ワールドを丸ごと一発で生成するようなケースを除けば、どこに線を引くべきか、私たちもまだはっきりとはわかっていません。
さらに、タグの運用を徹底させることにも課題があります。クリエイター向けのタグを用意することはできますが、それを使うのは誠実なクリエイターだけでしょう。正しくタグを付けない人については私たちが見つけてタグを付ける必要がありますが、タグを偽ったAI生成コンテンツを大規模に検出する方法はありません。
ユーザーからの通報だけに頼ることもできません。AIで生成されたサムネイル画像は、今日なら多くの人が比較的簡単に見抜けるかもしれませんが、それは日を追うごとに難しくなっていきます。
タグ付けの可能性は排除していませんが、まだ導入を決めたわけではありません。その方向に進む場合は、システムの意図と実際の結果が一致するよう、時間をかけて実装する必要があります。そうしなければ、将来どうにもならない状況に陥るかもしれません。
この方向性を検討するにあたっては、VRChatコミュニティの皆さん、ワールドクリエイター、コンテンツクリエイターなどに意見を聞き、さまざまな立場の考えを理解できるよう努めます。

変化の速い時代に、私たちも変わり続けます

VRChatが大切にしているのは、表現の自由と人と人とのつながりです。皆さんと一緒にワールドを探索しており、皆さんが何を心配しているのかも見えています。この先に何が待ち受けているのかという不安の声も、しっかり届いています。
皆さんの力があれば、今回の取り組みを通じて、私たちが共に大切にしてきたVRChatを、これからも育てていけると信じています。
ここでお伝えした内容についてご意見がある方や、VRChatにおけるAIコンテンツの線引きを一緒に考えてくださる方は、少しお時間をいただき、以下のアンケートにご回答ください。お寄せいただいたご意見は、今後の判断に活かしていきます。
https://vrch.at/forum-ai-feedback
回答の受付期間は本日から7日間です。終了後、内容を確認し、結果をコミュニティの皆さんと共有します。
いつも、VRChatで素晴らしいものを作り、共有してくださりありがとうございます!皆さんが次に何を作るのか、楽しみにしています。

45 Likes