Новый чат-бот Nvidia с искусственным интеллектом работает локально на вашем компьютере и бесплатен
У вас есть графический процессор серии GeForce RTX 30 или выше? Это демонстрационное приложение может предоставлять персонализированный контент без необходимости подключения к Интернету.
Графический процессор Nvidia серии GeForce RTX 40.
Nvidia выпустила демо-версию нового чат-бота с искусственным интеллектом, который работает локально на некоторых ПК с GeForce RTX. Демонстрационное приложение под названием Chat with RTX можно загрузить бесплатно и позволяет пользователям запускать на своих компьютерах чат-бота с искусственным интеллектом, персонализированного с помощью своего контента.
Приложение, созданное на базе программного обеспечения Nvidia TensorRT-LLM, может генерировать контент и обучаться на основе выбранного пользователем контента, включая файлы .txt, .pdf, .doc/.docx и .xml и даже URL-адреса видео на YouTube.
Выбрав контент для обучения бота, пользователи могут задавать ему персонализированные вопросы о предоставленном ими контенте. Например, бот может обобщить пошаговые инструкции в видео с инструкциями на YouTube или сообщить пользователю, какой тип батарей есть в его списке покупок.
Обучение бота предпочтительному контенту пользователя делает его по-настоящему персонализированным, но тот факт, что все это происходит локально, сохраняет конфиденциальность пользовательских данных. Чат с RTX может давать быстрые ответы, сохраняя при этом всю пользовательскую информацию в безопасности, поскольку он не зависит от облачных сервисов, а это означает, что он также может работать без подключения к Интернету.
Для работы бота требуется графический процессор Nvidia GeForce RTX 30 Series или выше с не менее 8 ГБ видеопамяти. Для общения с RTX также требуется Windows 10 или 11 и новейшие драйверы графического процессора Nvidia.
Nvidia заявляет, что ее программное обеспечение TensorRT-LLM в сочетании с генерацией с расширенным поиском (RAG) и ускорением RTX позволяет Chat с RTX предоставлять соответствующие ответы, используя локальные файлы в качестве набора данных и подключая их к LLM с открытым исходным кодом, таким как Mistral и Llama 2.