Đối với các tác vụ phức tạp đòi hỏi sự khám phá hoặc tầm nhìn chiến lược, các kỹ thuật prompting truyền thống hoặc đơn giản không còn phù hợp. Yao et al. và Long gần đây đã đề xuất Tree of Thoughts (
), một framework tổng quát hóa chain-of-thought prompting và khuyến khích sự khám phá các ý tưởng đóng vai trò là các bước trung gian để giải quyết vấn đề chung bằng mô hình ngôn ngữ.
Tree of Thoughts () là gì?
Tree of Thoughts () là một framework prompting tiên tiến, trong đó mô hình ngôn ngữ lớn (LLM) duy trì một cây các ý tưởng (tree of thoughts), với mỗi ý tưởng đại diện cho một chuỗi ngôn ngữ mạch lạc phục vụ như một bước trung gian hướng tới việc giải quyết một vấn đề. Cách tiếp cận này cho phép LLM tự đánh giá tiến độ thông qua các ý tưởng trung gian hướng tới việc giải quyết một vấn đề thông qua một quá trình lý luận có chủ ý. Khả năng tạo và đánh giá ý tưởng của LLM sau đó được kết hợp với các thuật toán tìm kiếm (ví dụ: tìm kiếm theo chiều rộng và tìm kiếm theo chiều sâu) để cho phép khám phá có hệ thống các ý tưởng với tầm nhìn xa và khả năng quay lui.
Cách Hoạt Động của
duy trì một cây các ý tưởng, trong đó các ý tưởng đại diện cho các chuỗi ngôn ngữ mạch lạc đóng vai trò là các bước trung gian hướng tới việc giải quyết một vấn đề. LLM có thể tự đánh giá tiến độ thông qua các ý tưởng trung gian và sử dụng các thuật toán tìm kiếm để khám phá không gian giải pháp.
Framework (Khung)
), một framework tổng quát hóa chain-of-thought prompting và khuyến khích sự khám phá các ý tưởng đóng vai trò là các bước trung gian để giải quyết vấn đề chung bằng mô hình ngôn ngữ. Tree of Thoughts () là gì?Tree of Thoughts (
) là một framework prompting tiên tiến, trong đó mô hình ngôn ngữ lớn (LLM) duy trì một cây các ý tưởng (tree of thoughts), với mỗi ý tưởng đại diện cho một chuỗi ngôn ngữ mạch lạc phục vụ như một bước trung gian hướng tới việc giải quyết một vấn đề. Cách tiếp cận này cho phép LLM tự đánh giá tiến độ thông qua các ý tưởng trung gian hướng tới việc giải quyết một vấn đề thông qua một quá trình lý luận có chủ ý. Khả năng tạo và đánh giá ý tưởng của LLM sau đó được kết hợp với các thuật toán tìm kiếm (ví dụ: tìm kiếm theo chiều rộng và tìm kiếm theo chiều sâu) để cho phép khám phá có hệ thống các ý tưởng với tầm nhìn xa và khả năng quay lui. Cách Hoạt Động của duy trì một cây các ý tưởng, trong đó các ý tưởng đại diện cho các chuỗi ngôn ngữ mạch lạc đóng vai trò là các bước trung gian hướng tới việc giải quyết một vấn đề. LLM có thể tự đánh giá tiến độ thông qua các ý tưởng trung gian và sử dụng các thuật toán tìm kiếm để khám phá không gian giải pháp. Framework (Khung) Khi sử dụng , các tác vụ khác nhau yêu cầu xác định số lượng ứng viên và số lượng ý tưởng/bước. Ví dụ: như được trình bày trong bài báo, Game of 24 được sử dụng làm tác vụ suy luận toán học, đòi hỏi phải phân tách các ý tưởng thành 3 bước, mỗi bước liên quan đến một phương trình trung gian. Ở mỗi bước, các ứng viên tốt nhất b=5 được giữ lại.
Áp Dụng Tìm Kiếm Theo Chiều Rộng (BFS) trong
Để thực hiện BFS trong cho tác vụ Game of 24, LLM được prompt để đánh giá từng ứng viên ý tưởng là “chắc chắn/có thể/không thể” liên quan đến việc đạt được 24. Theo như các tác giả cho biết, “mục tiêu là thúc đẩy các giải pháp từng phần chính xác có thể được đánh giá trong một vài thử nghiệm nhìn xa, loại bỏ các giải pháp từng phần không thể dựa trên lẽ thường “quá lớn/nhỏ” và giữ phần còn lại là “có thể””. Các giá trị được lấy mẫu 3 lần cho mỗi ý tưởng. Quá trình này được minh họa dưới đây:
, các tác vụ khác nhau yêu cầu xác định số lượng ứng viên và số lượng ý tưởng/bước. Ví dụ: như được trình bày trong bài báo, Game of 24 được sử dụng làm tác vụ suy luận toán học, đòi hỏi phải phân tách các ý tưởng thành 3 bước, mỗi bước liên quan đến một phương trình trung gian. Ở mỗi bước, các ứng viên tốt nhất b=5 được giữ lại. Áp Dụng Tìm Kiếm Theo Chiều Rộng (BFS) trong Để thực hiện BFS trong
cho tác vụ Game of 24, LLM được prompt để đánh giá từng ứng viên ý tưởng là “chắc chắn/có thể/không thể” liên quan đến việc đạt được 24. Theo như các tác giả cho biết, “mục tiêu là thúc đẩy các giải pháp từng phần chính xác có thể được đánh giá trong một vài thử nghiệm nhìn xa, loại bỏ các giải pháp từng phần không thể dựa trên lẽ thường “quá lớn/nhỏ” và giữ phần còn lại là “có thể””. Các giá trị được lấy mẫu 3 lần cho mỗi ý tưởng. Quá trình này được minh họa dưới đây:image
Kết Quả Thực Nghiệm (hình thứ 2)Từ các kết quả được báo cáo trong hình dưới đây,
vượt trội hơn đáng kể so với các phương pháp prompting khác: So Sánh của Yao et al. và LongỞ cấp độ cao, các ý tưởng chính của Yao et al. và Long tương tự nhau. Cả hai đều tăng cường khả năng giải quyết vấn đề phức tạp của LLM thông qua tìm kiếm cây thông qua cuộc trò chuyện nhiều vòng. Một trong những khác biệt chính là Yao et al. tận dụng DFS/BFS/tìm kiếm theo chùm tia, trong khi chiến lược tìm kiếm cây (ví dụ: khi nào quay lui và quay lui theo bao nhiêu cấp độ, v.v.) được đề xuất trong Long được điều khiển bởi “
Controller” được đào tạo thông qua học tăng cường. DFS/BFS/Beam search là các chiến lược tìm kiếm giải pháp chung không có sự điều chỉnh cho các vấn đề cụ thể. So sánh, Controller được đào tạo thông qua RL có thể học từ tập dữ liệu mới hoặc thông qua tự chơi (AlphaGo so với tìm kiếm vét cạn) và do đó, hệ thống dựa trên RL có thể tiếp tục phát triển và học kiến thức mới ngay cả với một LLM cố định.
Tree-of-Thought PromptingHulbert đã đề xuất Tree-of-Thought Prompting, áp dụng khái niệm chính từ các framework
làm một kỹ thuật prompting đơn giản, giúp LLM đánh giá các ý tưởng trung gian trong một prompt duy nhất. Một prompt mẫu là:Hãy tưởng tượng ba chuyên gia khác nhau đang trả lời câu hỏi này.
Tất cả các chuyên gia sẽ viết ra 1 bước suy nghĩ của họ,
sau đó chia sẻ nó với nhóm.
Sau đó, tất cả các chuyên gia sẽ tiếp tục bước tiếp theo, v.v.
Nếu bất kỳ chuyên gia nào nhận ra họ sai ở bất kỳ thời điểm nào thì họ sẽ rời đi.
Câu hỏi là…
Sun đã đánh giá Tree-of-Thought Prompting bằng các thí nghiệm quy mô lớn và giới thiệu PanelGPT — một ý tưởng về prompting với các cuộc thảo luận nhóm giữa các LLM
Kết LuậnTree of Thoughts (
) là một framework mạnh mẽ, cho phép LLM khám phá không gian giải pháp một cách có hệ thống và giải quyết các vấn đề phức tạp đòi hỏi khả năng lý luận đa chiều. Với , bạn có thể tận dụng sức mạnh của LLM để giải quyết các thách thức phức tạp nhất và đạt được những kết quả ấn tượng.
