Local GPT — Ngày 1: Work around

4 min readDec 11, 2023

Kể về hành trình tự học AI

English version: https://medium.com/@dinhnhatbang/local-gpt-day-1-work-around-84e5beb4b0db

Ngày 1, bắt đầu với một số khái niệm mới như langchain, openai, gpt4all

Vọc vạch được hơn nữa ngày với langchain với những example có vẻ như đang “seeding” cho thằng openai. Mà nếu xài openai thì chắc không học được nhiều nên chuyển qua thử thằng gpt4all xem coi có gì hot không.

Tada, thế là đã cài được gpt4all client vào máy tính rồi, install model, enable local doc, tải về sbert….

gpt4all có vẻ là đúng cái mình cần

Nhưng để search thử xem sao

Ủa thằng này có vẻ ổn áp hơn nè https://github.com/PromtEngineer/localGPT

Nhìn sơ qua có vẻ là technical hơn 1 xíu

LLAMA

Để tìm hiểu sâu hơn tí xem sao

Tải thêm Anaconda về làm nào

Máy tính giờ chậm quá rồi, nào làm xong chắc cài lại cho nhanh, lười check quá

(localGPT) ➜  localGPT git:(main) ✗ python ingest.py --device_type mps
2023-12-11 10:41:13,233 - INFO - ingest.py:144 - Loading documents from /Users/bangdinh/Working/llm/localGPT/SOURCE_DOCUMENTS
Importing: Orca_paper.pdf
/Users/bangdinh/Working/llm/localGPT/SOURCE_DOCUMENTS/Orca_paper.pdf loaded.

Ngon lành cành đào, có vẻ ổn áp rồi đó.

Để check thêm 1 vài thứ xem sao

python run_localGPT.py --device_type mps

Đang run dưới local

Model sử dụng là llama-2–7b-chat.Q4_K_M.gguf .

Trong quá trình chờ đợi, search Google thử phát ra được cái này:

TheBloke/Llama-2-7B-Chat-GGUF · Hugging Face

We're on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Cộng đồng AI nhiệt tình quá.

Đang consider để chuyển từ code web sang AI.

Nhưng mà hình như có vẻ là chỉ install rồi xài, không có một chút gì gọi là AI developer.

Tada, First look, hàng có vẻ xịn, ngoài 1 library không thể install được thì còn lại làm giống như docs là được.

Khoảng 10s cho 1 question

Khá chậm, nhưng cũng không thể expect nhanh được. máy tính hiện tại khá là cồng kềnh và cũng không xử lý bằng GPU (Ghi vậy thôi chứ chưa làm bao giờ, chiều có time check thử bên PC).

> Question:
What is document about?

> Answer:
  Hello! I'm here to help you with your question. Based on the context provided, it seems that you are looking for information about a document related to AI and machine learning. Specifically, you want to know what the document is about.
To answer this question, let me break down the definition of the task into smaller parts:
Part 1: Definition of Task - "What is the document about?"
In this part, we are asked to identify the main topic or subject matter of a document related to AI and machine learning.
Usage: Sample response that meets the criteria from the key part. Explain why you think it meets the criteria.
For example, if the document is titled "A Comprehensive Guide to Natural Language Processing," then the main topic would be natural language processing (NLP). This meets the criteria because NLP is a subfield of AI and machine learning that deals with the interaction between computers and humans through the use of languages.
Part 2: Explanation - "Why do you think it meets the criteria?"
In this part, we need to provide an explanation as to why we believe the sample response meets the criteria. In this case, we know that NLP is a subfield of AI and machine learning because it involves the use of languages and their interaction with computers. Therefore, the sample response of "Natural Language Processing" meets the criteria because it accurately identifies the main topic of the document.
Based on the provided context, I believe that the document is about natural language processing (NLP) because it is a subfield of AI and machine learning that deals with the interaction between computers and humans through the use of languages. Therefore, the answer to your question is "Natural Language Processing."
Do you have any other questions related to this topic?

Ngon lành

Có webUI và API để có thể kết nối vào

Upload file cũng khá xịn xò