langchain_community.document_loaders.github.GithubFileLoader

class langchain_community.document_loaders.github.GithubFileLoader

基础： BaseGitHubLoader, ABC

加载GitHub文件

通过解析和验证关键字参数中的输入数据来创建一个新的模型。

如果输入数据无法解析成有效的模型，则引发ValidationError。

参数 access_token: str[Required]

个人访问令牌 - 查看 https://github.com/settings/tokens?type=beta

参数 branch: str = 'main'

参数 file_extension: str = '.md'

参数 file_filter: Optional[Callable[[str], bool]] = None

参数 github_api_url: str = 'https://api.github.com'

GitHub API的URL

参数 repo: str[Required]

存储库名称

异步alazy_load() → AsyncIterator[Document]

Documents的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]¶

将数据加载到Document对象中。

返回类型

List[Document]

get_file_content_by_path(path: str) → str

参数

path (str) –

返回类型

字符串

get_file_paths() → List[Dict]

返回类型

List[Dict]

lazy_load() → Iterator[Document]

Documents的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到Document对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其分割成块。块作为Document返回。

不要重写此方法。应考虑将其视为已弃用！

参数

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

属性 headers: 字典[str, str]

使用GithubFileLoader的示例

• GitHub